AI回答を比較する：同じ資料で事実・条件・欠落を確認する評価表

01回答を見る前に評価基準を固定する

AI回答を比較するとき、文章がより自然だという印象だけで判断すると、結果を見た後に基準が変わる可能性があります。まず原文から必ず保持すべき事実と条件を決め、すべての回答に同じ基準を適用します。この記事はブランド順位を決めるベンチマークではなく、自分の特定課題で検証可能な比較表を作る練習です。1回の結果をモデル全体の優劣や一般的な性能差に拡大して解釈しません。

DOC-01/v1
[L1] 仮想工房の会員は登録会員のみ申し込むことができる。
[L2] 申込は10月18日 18:00まで受け付ける。
[L3] 定員は12名である。
[L4] 参加費は8,000ウォンである。
[L5] 申込のキャンセルは10月16日 18:00まで依頼できる。
[L6] 定員超過時は待機リストに登録されるが、参加確定ではない。

02入力・依頼文・バージョンを同じ条件で記録する

比較では、1回に変更する変数を1つに決めます。モデルを比較するならDOC-01/v1と依頼文を同じに保ち、モデルだけを変更します。依頼文のバージョンを比較するなら、同じ資料と同じモデルを使用し、依頼文だけを変更します。結果を見た後に追加修正した回答は、元の回答と区別して記録します。実行日、ツール・モデル表示、依頼文バージョン、人が修正した内容も一緒に残します。出力名をAとBのように匿名化すると、名前による先入観を減らす助けにはなりますが、バイアスを完全に除去するものではありません。

DOC-01/v1だけを根拠に申込案内文を作成してください。
登録対象、申込期限、定員、参加費、キャンセル期限、待機状態を漏らさないでください。
原文にない特典・ポリシー・年・曜日は追加しないでください。
資料にない内容は推測しないでください。

比較記録
資料: DOC-01/v1
依頼文バージョン: P1
出力表示: A / B
実行日: 自分で記録
ツール・モデル表示: 自分で記録
人による修正内容: 自分で記録
評価基準の作成時点: 結果を見る前

036つの事実は0·1で、追加主張は別ゲートで確認する

6つの評価項目は、それぞれ満たしていれば1、満たしていなければ0として記録します。重要なのは、「根拠のない追加主張がないこと」を7番目の点数として混ぜないことです。事実スコアが高くても、原文にないポリシーや特典が追加されている場合は、公開可否を別途止める必要があります。こうすることで、事実保持の点数と根拠のない生成の問題を別の失敗タイプとして扱えます。

編集例 · 実際の製品での実行結果ではありません
結果 A: 登録会員のみ申し込むことができます。申込は10月18日 18:00まで、定員12名、参加費8,000ウォンです。キャンセルは10月16日 18:00まで依頼できます。待機登録は参加確定ではありません。
評価: 6/6
追加主張ゲート: 根拠のない追加なし → 通過

編集例 · 実際の製品での実行結果ではありません
結果 B: 誰でも申し込むことができます。申込は10月18日 18:00まで、定員12名、参加費8,000ウォンです。キャンセルも10月18日 18:00まで可能です。待機登録なら参加確定となり、無料の材料が提供されます。
評価: 3/6
エラー: 登録会員制限、キャンセル期限、待機≠確定条件を未充足
追加主張ゲート: 「無料の材料を提供」は根拠なし → 公開不可

04低い点数を直すのではなく、原文基準で修正する

Bを修正するとき、目標を単純に「6点を取れるように直せ」とすると、評価表を満たす文章を無理に生成する可能性があります。代わりに、どの項目が原文と矛盾しているかを行番号まで示し、DOC-01に戻って修正するよう依頼します。修正後は、人が正解表をもう一度照合する必要があります。AIに自分の回答を採点させる方法は補助手段として使えますが、最終評価者は人であり、原文確認を省略することはできません。

結果BをDOC-01/v1と再度照合して修正してください。
L1の申込対象、L5のキャンセル期限、L6の待機状態を原文どおりに復元してください。
原文にない「無料の材料を提供」という文は削除してください。
10月の日付に年や曜日を任意に追加しないでください。
修正後、L1~L6の6項目を1つずつ確認したことを表示してください。

• 登録会員制限を「誰でも」に変更していないか確認します。
• 申込期限とキャンセル期限を互いに独立した項目として確認します。
• 待機リストを参加確定と解釈しません。
• 原文にない無料提供、返金、決済方法などを追加しません。

05変形例では分からないことを無理に点数化しない

評価表は正解が明確な資料で特に有用ですが、すべての状況を0と1にできるわけではありません。入力が空であったり、互いに矛盾する資料が与えられたりした場合は、任意の正解を作って点数を計算するのではなく、「確認が必要」として残す必要があります。次の練習では、空の入力、異なるバージョン間で内容が衝突する資料、一部の行が欠けた資料を入力し、評価表がいつ停止すべきか確認できます。前の記事のチャンク検証手順と一緒に使えば、まず全根拠が漏れなく集まっているか確認し、その後、同じ基準表で結果を検証する流れを作れます。

後続練習
[ ] Bを原文基準で修正する
[ ] 修正版を6つの正解項目と人が再度照合する
[ ] 根拠のない追加主張ゲートを別途確認する
[ ] 空の入力では任意の回答ではなく「確認が必要」として残す
[ ] 矛盾する資料ではどのバージョンが正しいか推測しない
[ ] 1回のA/B結果をモデル全体の優劣やベンチマークとして一般化しない

自分で確認する項目

仮想資料と編集例を原文およびチェックリストと照合します。AI製品で実行した結果ではありません。

• Aが6つの評価項目をすべて満たし6/6であることを原文と直接照合
• Bで申込対象、キャンセル期限、待機状態が誤っており3/6であることを確認
• Bの「無料の材料を提供」が原文にない別の追加主張であることを確認
• 追加主張の有無が6点評価表に混ざらず、公開可否ゲートとして分離されていることを確認
• A/Bが同一のDOC-01/v1と同一依頼文を使用するという比較条件を確認
• 空の入力や矛盾する資料では任意に正解を作らず、確認が必要として残すことを確認