AI 답변 비교하기: 같은 자료로 사실·조건·누락을 점검하는 평가표

01답변을 보기 전에 평가기준부터 고정하기

AI 답변을 비교할 때 문장이 더 자연스럽다는 인상만으로 판단하면 기준이 결과를 본 뒤 바뀔 수 있습니다. 먼저 원문에서 반드시 보존해야 할 사실과 조건을 정하고, 모든 답변에 같은 기준을 적용합니다. 이 글은 브랜드 순위를 정하는 벤치마크가 아니라 자신의 특정 과제에서 검수 가능한 비교표를 만드는 연습입니다. 한 번의 결과를 모델 전체의 우열이나 일반적인 성능 차이로 확대해서 해석하지 않습니다.

DOC-01/v1
[L1] 가상 공방의 회원은 등록회원만 신청할 수 있다.
[L2] 신청은 10월 18일 18:00까지 받는다.
[L3] 정원은 12명이다.
[L4] 참가비는 8,000원이다.
[L5] 신청 취소는 10월 16일 18:00까지 요청할 수 있다.
[L6] 정원 초과 시 대기 명단에 올리며 참가 확정은 아니다.

02입력·요청문·버전을 같은 조건으로 기록하기

비교에서는 한 번에 바꾸는 변수를 하나로 정합니다. 모델을 비교한다면 DOC-01/v1과 요청문을 같게 유지하고 모델만 바꿉니다. 요청문 버전을 비교한다면 같은 자료와 같은 모델을 사용하고 요청문만 바꿉니다. 결과를 본 뒤 추가로 고친 답변은 원본과 구분해 기록합니다. 실행 날짜, 도구·모델 표시, 요청문 버전과 사람이 수정한 내역도 함께 남깁니다. 출력명을 A와 B처럼 익명화하면 이름에 따른 선입견을 줄이는 데 도움이 되지만 편향을 완전히 제거하지는 못합니다.

DOC-01/v1만 근거로 신청 안내문을 작성하세요.
등록 대상, 신청 기한, 정원, 참가비, 취소 기한, 대기 상태를 빠뜨리지 마세요.
원문에 없는 혜택·정책·연도·요일은 추가하지 마세요.
자료가 없는 내용은 추측하지 마세요.

비교 기록
자료: DOC-01/v1
요청문 버전: P1
출력 표시: A / B
실행 날짜: 직접 기록
도구·모델 표시: 직접 기록
사람의 수정 내역: 직접 기록
평가기준 작성 시점: 결과를 보기 전

03여섯 사실은 0·1로, 추가 주장은 별도 게이트로 보기

여섯 평가 항목은 각각 충족하면 1, 미충족이면 0으로 기록합니다. 중요한 점은 '근거 없는 추가 주장 없음'을 일곱 번째 점수로 섞지 않는 것입니다. 사실 점수가 높더라도 원문에 없는 정책이나 혜택이 추가되었다면 게시 가능 여부를 별도로 막아야 합니다. 이렇게 하면 사실 보존 점수와 근거 없는 생성 문제를 서로 다른 실패 유형으로 볼 수 있습니다.

편집 예시 · 실제 제품 실행 결과 아님
결과 A: 등록회원만 신청 가능합니다. 신청은 10월 18일 18:00까지, 정원 12명, 참가비 8,000원입니다. 취소는 10월 16일 18:00까지 요청할 수 있습니다. 대기 등록은 참가 확정이 아닙니다.
평가: 6/6
추가 주장 게이트: 근거 없는 추가 없음 → 통과

편집 예시 · 실제 제품 실행 결과 아님
결과 B: 누구나 신청 가능합니다. 신청은 10월 18일 18:00까지, 정원 12명, 참가비 8,000원입니다. 취소도 10월 18일 18:00까지 가능합니다. 대기 등록이면 참가 확정이며 무료 재료가 제공됩니다.
평가: 3/6
오류: 등록회원 제한, 취소 기한, 대기≠확정 조건 미충족
추가 주장 게이트: '무료 재료 제공'은 근거 없음 → 게시 불가

04낮은 점수를 고치는 것이 아니라 원문 기준으로 수정하기

B를 수정할 때 목표를 단순히 '6점을 받게 고쳐라'로 두면 평가표를 만족시키는 문장을 억지로 생성할 수 있습니다. 대신 어느 항목이 원문과 충돌하는지 행 번호까지 제시하고 DOC-01로 되돌아가 수정하도록 요청합니다. 수정 뒤에는 사람이 정답표를 다시 대조해야 합니다. AI에게 자신의 답을 채점시키는 방법은 보조 수단으로는 쓸 수 있지만, 최종 평가자는 사람이며 원문 검토를 생략할 수 없습니다.

결과 B를 DOC-01/v1과 다시 대조해 수정하세요.
L1의 신청 대상, L5의 취소 기한, L6의 대기 상태를 원문대로 복원하세요.
원문에 없는 '무료 재료 제공' 문장은 삭제하세요.
10월 날짜에 연도나 요일을 임의로 추가하지 마세요.
수정 뒤 L1~L6 여섯 항목을 하나씩 확인했다고 표시하세요.

• 등록회원 제한은 '누구나'로 바꾸지 않았는지 확인합니다.
• 신청 기한과 취소 기한을 서로 독립된 항목으로 검토합니다.
• 대기 명단을 참가 확정으로 해석하지 않습니다.
• 원문에 없는 무료 제공, 환불, 결제 방식 등을 추가하지 않습니다.

05변형 사례에서는 모르는 것을 억지로 점수화하지 않기

평가표는 정답이 명확한 자료에서 특히 유용하지만 모든 상황을 0과 1로 만들 수 있는 것은 아닙니다. 입력이 비어 있거나 서로 충돌하는 자료가 주어졌다면 임의의 정답을 만들어 점수를 계산하기보다 '확인 필요'로 남겨야 합니다. 다음 연습에서는 빈 입력, 서로 다른 버전의 상충 내용, 일부 행이 빠진 자료를 넣어 평가표가 언제 멈춰야 하는지 확인해 볼 수 있습니다. 앞 글의 청크 검수 절차와 함께 사용하면 먼저 전체 근거가 빠짐없이 모였는지 확인하고, 그다음 같은 기준표로 결과를 검수하는 흐름을 만들 수 있습니다.

후속 연습
[ ] B를 원문 기준으로 수정한다
[ ] 수정본을 6개 정답 항목과 사람이 다시 대조한다
[ ] 근거 없는 추가 주장 게이트를 별도로 확인한다
[ ] 빈 입력에서는 임의 답변 대신 '확인 필요'로 남긴다
[ ] 상충하는 자료에서는 어느 버전이 맞는지 추측하지 않는다
[ ] 한 번의 A/B 결과를 모델 전체의 우열이나 벤치마크로 일반화하지 않는다

직접 확인할 항목

가상 자료와 편집 예시를 원문 및 체크리스트와 대조합니다. AI 제품에서 실행한 결과가 아닙니다.

• A가 여섯 평가 항목을 모두 충족해 6/6인지 원문과 직접 대조
• B에서 신청 대상, 취소 기한, 대기 상태가 틀려 3/6인지 확인
• B의 '무료 재료 제공'이 원문에 없는 별도 추가 주장인지 확인
• 추가 주장 여부가 6점 평가표에 섞이지 않고 게시 가능 게이트로 분리되는지 확인
• A/B가 동일한 DOC-01/v1과 동일 요청문을 사용한다는 비교 조건 확인
• 빈 입력이나 상충 자료에서는 임의로 정답을 만들지 않고 확인 필요로 남기는지 확인