Comparar respuestas de IA: tabla de evaluación para comprobar hechos, condiciones y omisiones con los mismos datos

01Fijar primero los criterios de evaluación antes de ver las respuestas

Al comparar respuestas de IA, si se decide únicamente por la impresión de que una redacción parece más natural, los criterios pueden cambiar después de ver el resultado. Defina primero los hechos y condiciones del original que deben conservarse obligatoriamente y aplique los mismos criterios a todas las respuestas. Este artículo no es un benchmark para establecer una clasificación de marcas, sino una práctica para crear una tabla de comparación revisable en una tarea específica propia. No se amplía el resultado de una sola ejecución para interpretarlo como una superioridad general de un modelo o como una diferencia general de rendimiento.

DOC-01/v1
[L1] Solo los miembros registrados del taller ficticio pueden solicitar la participación.
[L2] Las solicitudes se aceptan hasta el 18 de octubre a las 18:00.
[L3] El cupo es de 12 personas.
[L4] La cuota de participación es de 8,000 wones.
[L5] La cancelación de la solicitud puede pedirse hasta el 16 de octubre a las 18:00.
[L6] Si se supera el cupo, la persona pasa a la lista de espera y su participación no queda confirmada.

02Registrar la entrada, la solicitud y la versión bajo las mismas condiciones

En una comparación, defina una sola variable para cambiar cada vez. Si compara modelos, mantenga iguales DOC-01/v1 y la solicitud y cambie únicamente el modelo. Si compara versiones de la solicitud, utilice los mismos datos y el mismo modelo y cambie únicamente la solicitud. Las respuestas corregidas adicionalmente después de ver el resultado deben registrarse por separado del original. Conserve también la fecha de ejecución, la indicación de la herramienta·modelo, la versión de la solicitud y las modificaciones realizadas por una persona. Anonimizar los nombres de salida como A y B puede ayudar a reducir los prejuicios asociados al nombre, aunque no elimina por completo los sesgos.

Redacte un aviso de solicitud basándose únicamente en DOC-01/v1.
No omita los destinatarios registrados, el plazo de solicitud, el cupo, la cuota de participación, el plazo de cancelación ni el estado de espera.
No añada beneficios·políticas·años·días de la semana que no aparezcan en el original.
No deduzca información para la que no haya datos.

Registro de comparación
Datos: DOC-01/v1
Versión de la solicitud: P1
Identificación de salida: A / B
Fecha de ejecución: registrar directamente
Indicación de herramienta·modelo: registrar directamente
Modificaciones realizadas por una persona: registrar directamente
Momento de creación de los criterios de evaluación: antes de ver el resultado

03Evaluar los seis hechos con 0·1 y las afirmaciones adicionales con una puerta separada

Para cada uno de los seis elementos de evaluación, registre 1 si se cumple y 0 si no se cumple. El punto importante es no mezclar 'ausencia de afirmaciones adicionales sin fundamento' como una séptima puntuación. Aunque la puntuación de hechos sea alta, si se han añadido políticas o beneficios que no aparecen en el original, la posibilidad de publicación debe bloquearse por separado. De este modo, la puntuación de conservación de hechos y el problema de generación sin fundamento pueden tratarse como tipos de fallo distintos.

Ejemplo de edición · No es un resultado de ejecución real en un producto
Resultado A: Solo pueden solicitarlo los miembros registrados. Las solicitudes se aceptan hasta el 18 de octubre a las 18:00, el cupo es de 12 personas y la cuota de participación es de 8,000 wones. La cancelación puede solicitarse hasta el 16 de octubre a las 18:00. La inscripción en la lista de espera no significa que la participación esté confirmada.
Evaluación: 6/6
Puerta de afirmaciones adicionales: sin añadidos sin fundamento → aprobado

Ejemplo de edición · No es un resultado de ejecución real en un producto
Resultado B: Cualquiera puede solicitarlo. Las solicitudes se aceptan hasta el 18 de octubre a las 18:00, el cupo es de 12 personas y la cuota de participación es de 8,000 wones. La cancelación también puede hacerse hasta el 18 de octubre a las 18:00. Estar en la lista de espera significa participación confirmada y se proporcionan materiales gratuitos.
Evaluación: 3/6
Errores: no se cumplen la restricción a miembros registrados, el plazo de cancelación ni la condición espera≠confirmación
Puerta de afirmaciones adicionales: 'se proporcionan materiales gratuitos' no tiene fundamento → no publicable

04Corregir según el original, no simplemente para aumentar la puntuación

Al corregir B, si el objetivo se limita a 'corrígelo para obtener 6 puntos', podrían generarse de forma forzada frases destinadas únicamente a satisfacer la tabla de evaluación. En su lugar, indique incluso los números de línea de los elementos que entran en conflicto con el original y solicite que la corrección vuelva a DOC-01. Después de la modificación, una persona debe volver a contrastar la tabla de respuestas correctas. Pedir a la IA que evalúe su propia respuesta puede utilizarse como apoyo, pero el evaluador final es una persona y no puede omitirse la revisión del texto original.

Vuelva a contrastar el resultado B con DOC-01/v1 y corríjalo.
Restaure según el original los destinatarios de L1, el plazo de cancelación de L5 y el estado de espera de L6.
Elimine la frase 'se proporcionan materiales gratuitos', que no aparece en el original.
No añada arbitrariamente años ni días de la semana a las fechas de octubre.
Después de corregirlo, indique que ha comprobado uno por uno los seis elementos L1~L6.

• Compruebe que la restricción a miembros registrados no se haya cambiado por 'cualquiera'.
• Revise el plazo de solicitud y el plazo de cancelación como elementos independientes.
• No interprete la lista de espera como participación confirmada.
• No añada gratuidades, reembolsos, métodos de pago u otros elementos que no aparezcan en el original.

05No forzar una puntuación cuando no se conoce la respuesta en casos modificados

La tabla de evaluación resulta especialmente útil con materiales en los que la respuesta correcta es clara, pero no todas las situaciones pueden convertirse en 0 y 1. Si la entrada está vacía o se proporcionan datos que se contradicen entre sí, en lugar de inventar una respuesta correcta y calcular una puntuación, debe dejarse como 'requiere comprobación'. En la siguiente práctica puede introducirse una entrada vacía, contenido contradictorio de versiones diferentes o datos con algunas líneas ausentes para comprobar cuándo debe detenerse la tabla de evaluación. Si se utiliza junto con el procedimiento de revisión de chunks del artículo anterior, primero puede comprobarse si se ha reunido toda la evidencia sin omisiones y después revisar el resultado con la misma tabla de criterios.

Práctica posterior
[ ] Corregir B según el original
[ ] Una persona vuelve a contrastar la versión corregida con los 6 elementos de respuesta correcta
[ ] Comprobar por separado la puerta de afirmaciones adicionales sin fundamento
[ ] Con una entrada vacía, dejar 'requiere comprobación' en lugar de generar una respuesta arbitraria
[ ] Con datos contradictorios, no adivinar qué versión es correcta
[ ] No generalizar un único resultado A/B como superioridad global de un modelo ni como benchmark

Qué comprobar por tu cuenta

Se contrastan los datos ficticios y los ejemplos de edición con el texto original y la lista de comprobación. No son resultados ejecutados en un producto de IA.

• Contrastar directamente con el original que A cumple los seis elementos de evaluación y obtiene 6/6
• Comprobar que B obtiene 3/6 porque son incorrectos los destinatarios de la solicitud, el plazo de cancelación y el estado de espera
• Comprobar que 'se proporcionan materiales gratuitos' de B es una afirmación adicional separada que no aparece en el original
• Comprobar que las afirmaciones adicionales no se mezclan en la tabla de 6 puntos y se separan como una puerta de posibilidad de publicación
• Comprobar la condición de comparación de que A/B utilizan el mismo DOC-01/v1 y la misma solicitud
• Comprobar que, con una entrada vacía o datos contradictorios, no se inventa arbitrariamente una respuesta correcta y se deja como requiere comprobación