長い文書をAIで分割して確認する：部分要約を統合するときに抜ける条件を確認

01まずコンテキストとチャンクを理解する

コンテキストとは、1つの依頼に対してAIモデルが回答を作成するときに参照する入力範囲だと考えると分かりやすいです。長い資料を一度に入力することが難しい場合や、区間ごとの確認が必要な場合は、文書を複数のチャンクに分けることができます。ただし、入力長の制限や長文処理の品質は製品やモデルによって異なり、文書を分割したという事実だけで正確性が保証されるわけではありません。この実習のDOC-01は、長文処理手順を小規模に再現するための仮想例にすぎず、実際の長文文書ではありません。

DOC-01/v1
C1: [L1] 仮想工房の会員は登録会員のみ申し込むことができる。 [L2] 申込は10月18日 18:00まで受け付ける。
C2: [L2] 申込は10月18日 18:00まで受け付ける。 [L3] 定員は12名である。 [L4] 参加費は8,000ウォンである。
C3: [L5] 申込のキャンセルは10月16日 18:00まで依頼できる。 [L6] 定員超過時は待機リストに登録されるが、参加確定ではない。

2023年のAnthropicの研究では、長い入力の中から回答に必要な根拠を先に見つける方法が試されています。特定の実験であるため、現在のモデルの性能保証として一般化しません。

02各チャンクで根拠を先に抽出する

最初から全体要約を作るのではなく、各チャンクから主張と条件を行単位で抽出します。このときDOC-01とv1を一緒に記録しておくと、別の文書や以前のバージョンの内容が混ざっていないか確認しやすくなります。新しいチャットで次の段階を進める場合は、以前の会話が自動的に引き継がれると仮定せず、必要な入力資料と指示を再度提示するほうが安全です。

以下の資料だけを使用して、チャンクごとの根拠を抽出してください。
各行に文書ID、バージョン、チャンク、原文の行番号、事実を記載してください。
原文にない年、曜日、決済方法、返金条件は推測しないでください。
同じ文が複数のチャンクにあっても、まだ削除せず表示してください。

[ここにDOC-01/v1のC1~C3全体をもう一度貼り付ける]

03重複は除去しても、異なる条件は統合しない

部分抽出を統合するときは、まずすべての項目のDOCとversionが同じか確認します。次に、C1とC2で繰り返されているL2だけを1つに整理します。一方、申込締切とキャンセル締切は日付も意味も異なるため、1つの期限に統合してはいけません。チャンク境界では、繰り返し文だけでなく、前後の条件が途中で切れて意味が変わっていないかも確認する必要があります。

部分抽出結果を1つに統合してください。
1. すべての項目がDOC-01/v1であることを確認
2. 同一根拠L2の重複だけを削除
3. 申込期限とキャンセル期限を別項目として維持
4. L1~L6の6つの根拠が最終結果にすべて反映されているか確認
5. 原文にない決済方法、返金ポリシー、年、曜日を追加しない
最後に使用した根拠行番号を表示してください。

編集例 · 実際の製品での実行結果ではありません
- 対象: 登録会員のみ申し込むことができる。 [L1]
- 申込期限: 10月18日 18:00までである。 [L2]
- 定員: 12名である。 [L3]
- 参加費: 8,000ウォンである。 [L4]
- キャンセル依頼期限: 10月16日 18:00までである。 [L5]
- 定員超過時は待機リストに登録されるが、参加が確定したわけではない。 [L6]
確認: DOC-01/v1、L2の重複を削除、L1~L6を保持。

04欠落する失敗例を作り、原文に戻る

チャンクごとの要約が自然に読めても、全範囲を網羅している保証はありません。たとえばC3を抜かすと、結果の文章は滑らかでも、キャンセル期限と待機リストの条件が丸ごと消えてしまいます。そのため、完成した文章を読むだけで検証するのではなく、もともと予定していたチャンク一覧と根拠行一覧を逆方向に照合する必要があります。

編集例 · 実際の製品での実行結果ではありません
登録会員のみ申し込むことができ、申込は10月18日 18:00までです。定員は12名で、参加費は8,000ウォンです。
問題: C3が欠落しているため、L5のキャンセル期限とL6の待機条件を確認できません。

直前の結果をDOC-01/v1の原文と再度照合してください。
まずC1、C2、C3がすべて使用されているか確認し、L1~L6のうち抜けている行を探してください。
不足している内容を、原文表現の意味を変えない範囲で復元してください。
原文にない年・曜日・決済・返金条件は補わないでください。

05全体範囲を確認してから次の検証へ渡す

最後の段階では、要約文の文章品質よりも追跡可能性を確認します。DOCとバージョン、予定していたすべてのチャンク、根拠行の範囲、重複削除の履歴を残しておけば、何が抜けたのかを再確認しやすくなります。長い文書では、チャンク数が増えるほどこの記録が重要になります。次の記事の評価表方式と組み合わせれば、こうして作成した結果を固定した事実・条件基準で再評価し、「もっともらしい要約」と「検証可能な成果物」を区別できます。

最終チェック
[ ] すべての資料がDOC-01/v1か
[ ] C1·C2·C3がすべて処理されたか
[ ] L2の重複だけを削除したか
[ ] L1~L6の6つの根拠がすべて残っているか
[ ] 申込 10月18日 18:00とキャンセル 10月16日 18:00を区別したか
[ ] 待機リストが参加確定に変わっていないか
[ ] 決済・返金・年・曜日を推測していないか
[ ] 新しいチャットでは入力資料と指示を再度提供したか

自分で確認する項目

仮想資料と編集例を原文およびチェックリストと照合します。AI製品で実行した結果ではありません。

• DOC-01とバージョンv1がすべての段階で維持されているか確認
• C1·C2·C3とL1~L6の全範囲を照合
• L2だけが重複削除され、L5·L6が保持されているか確認
• 申込期限とキャンセル期限が入れ替わったり統合されたりしていないか確認
• 原文にない決済・返金・年・曜日が生成されていないか確認

背景説明の参考資料