Comparar respostas de IA: tabela de avaliação para verificar fatos, condições e omissões com os mesmos dados

01Fixar primeiro os critérios de avaliação antes de ver as respostas

Ao comparar respostas de IA, se você decidir apenas pela impressão de que uma frase parece mais natural, os critérios podem mudar depois de ver os resultados. Primeiro defina os fatos e as condições do original que obrigatoriamente devem ser preservados e aplique os mesmos critérios a todas as respostas. Este artigo não é um benchmark para classificar marcas, mas um exercício para criar uma tabela comparativa passível de revisão em uma tarefa específica. Não interprete o resultado de uma única execução como evidência de superioridade geral entre modelos ou de diferenças gerais de desempenho.

DOC-01/v1
[L1] Somente membros registrados da oficina fictícia podem se inscrever.
[L2] As inscrições são aceitas até 18 de outubro 18:00.
[L3] A capacidade é de 12 pessoas.
[L4] A taxa de participação é de 8,000 KRW.
[L5] O cancelamento da inscrição pode ser solicitado até 16 de outubro 18:00.
[L6] Se a capacidade for excedida, a pessoa será colocada na lista de espera, o que não significa confirmação de participação.

02Registrar entrada, solicitação e versão nas mesmas condições

Em uma comparação, defina apenas uma variável para alterar de cada vez. Se estiver comparando modelos, mantenha DOC-01/v1 e a solicitação iguais e altere somente o modelo. Se estiver comparando versões da solicitação, use os mesmos dados e o mesmo modelo e altere somente a solicitação. Uma resposta corrigida depois de ver o resultado deve ser registrada separadamente da saída original. Registre também a data de execução, a identificação da ferramenta·modelo, a versão da solicitação e as alterações feitas por uma pessoa. Anonimizar os nomes das saídas como A e B pode ajudar a reduzir preconceitos associados aos nomes, mas não elimina completamente o viés.

Com base apenas em DOC-01/v1, escreva um aviso de inscrição.
Não omita o público elegível, o prazo de inscrição, a capacidade, a taxa de participação, o prazo de cancelamento e o status da lista de espera.
Não adicione benefícios, políticas, ano ou dia da semana que não estejam no original.
Não suponha informações para as quais não há dados.

Registro da comparação
Dados: DOC-01/v1
Versão da solicitação: P1
Identificação das saídas: A / B
Data de execução: registrar manualmente
Identificação da ferramenta·modelo: registrar manualmente
Alterações feitas por uma pessoa: registrar manualmente
Momento de criação dos critérios de avaliação: antes de ver os resultados

03Avaliar os seis fatos com 0·1 e tratar afirmações adicionais em um gate separado

Registre 1 quando cada um dos seis itens de avaliação for atendido e 0 quando não for. O ponto importante é não misturar 'ausência de afirmações adicionais sem fundamento' como uma sétima pontuação. Mesmo que a pontuação factual seja alta, se uma política ou benefício que não existe no original tiver sido adicionado, a possibilidade de publicação deve ser bloqueada separadamente. Dessa forma, a pontuação de preservação factual e o problema de geração sem fundamento podem ser tratados como tipos distintos de falha.

Exemplo editado · não é resultado de execução real em um produto
Resultado A: Somente membros registrados podem se inscrever. As inscrições são aceitas até 18 de outubro 18:00, a capacidade é de 12 pessoas e a taxa de participação é de 8,000 KRW. O cancelamento pode ser solicitado até 16 de outubro 18:00. A inscrição na lista de espera não significa participação confirmada.
Avaliação: 6/6
Gate de afirmações adicionais: nenhuma adição sem fundamento → aprovado

Exemplo editado · não é resultado de execução real em um produto
Resultado B: Qualquer pessoa pode se inscrever. As inscrições são aceitas até 18 de outubro 18:00, a capacidade é de 12 pessoas e a taxa de participação é de 8,000 KRW. O cancelamento também pode ser feito até 18 de outubro 18:00. Entrar na lista de espera significa participação confirmada, e são fornecidos materiais gratuitos.
Avaliação: 3/6
Erros: restrição a membros registrados, prazo de cancelamento e condição espera≠confirmação não atendidos
Gate de afirmações adicionais: 'fornecimento de materiais gratuitos' não tem fundamento → publicação não permitida

04Corrigir com base no original, não apenas para aumentar a pontuação

Ao corrigir B, se o objetivo for simplesmente 'corrija para obter 6 pontos', pode ser gerada artificialmente uma frase apenas para satisfazer a tabela de avaliação. Em vez disso, indique até os números das linhas em que o resultado entra em conflito com o original e solicite a correção retornando ao DOC-01. Depois da correção, uma pessoa deve comparar novamente o resultado com o gabarito. Pedir que a IA avalie a própria resposta pode ser usado como recurso auxiliar, mas o avaliador final é uma pessoa, e a revisão do original não pode ser omitida.

Compare novamente o resultado B com DOC-01/v1 e corrija-o.
Restaure conforme o original o público de inscrição de L1, o prazo de cancelamento de L5 e o status de espera de L6.
Exclua a frase 'fornecimento de materiais gratuitos', que não está no original.
Não adicione arbitrariamente ano ou dia da semana às datas de October.
Após a correção, indique que verificou um por um os seis itens L1~L6.

• Verifique se a restrição a membros registrados não foi alterada para 'qualquer pessoa'.
• Revise o prazo de inscrição e o prazo de cancelamento como itens independentes.
• Não interprete a lista de espera como participação confirmada.
• Não adicione fornecimento gratuito, reembolso, forma de pagamento ou outros elementos que não estejam no original.

05Em casos variantes, não transformar à força o que é desconhecido em uma pontuação

A tabela de avaliação é especialmente útil quando os dados têm respostas claramente definidas, mas nem todas as situações podem ser reduzidas a 0 e 1. Se a entrada estiver vazia ou houver dados conflitantes entre si, em vez de inventar uma resposta e calcular uma pontuação, o item deve permanecer como 'necessita verificação'. No exercício seguinte, você pode inserir uma entrada vazia, conteúdo conflitante de versões diferentes e materiais com algumas linhas ausentes para verificar quando a tabela de avaliação deve parar. Usada em conjunto com o procedimento de revisão por chunks do artigo anterior, essa abordagem permite primeiro confirmar se todas as evidências foram reunidas sem omissões e, depois, revisar os resultados com a mesma tabela de critérios.

Exercício de acompanhamento
[ ] Corrigir B com base no original
[ ] Uma pessoa compara novamente a versão corrigida com os 6 itens do gabarito
[ ] Verificar separadamente o gate de afirmações adicionais sem fundamento
[ ] Em entrada vazia, deixar como 'necessita verificação' em vez de criar uma resposta arbitrária
[ ] Em materiais conflitantes, não adivinhar qual versão está correta
[ ] Não generalizar um único resultado A/B como superioridade geral dos modelos ou como benchmark

O que conferir por conta própria

Os dados fictícios e os exemplos editados são comparados com o original e com a checklist. Não são resultados executados em um produto de IA.

• Comparar diretamente com o original se A atende a todos os seis itens de avaliação e obtém 6/6
• Verificar se B obtém 3/6 porque o público de inscrição, o prazo de cancelamento e o status de espera estão incorretos
• Verificar se 'fornecimento de materiais gratuitos' em B é uma afirmação adicional separada que não existe no original
• Verificar se a presença de afirmações adicionais não é misturada à tabela de 6 pontos e é separada como gate de possibilidade de publicação
• Verificar a condição de comparação de que A/B usam o mesmo DOC-01/v1 e a mesma solicitação
• Verificar se, em entrada vazia ou dados conflitantes, não é criada arbitrariamente uma resposta e o item permanece como necessita verificação