긴 문서를 AI로 나눠 검토하기: 부분 요약을 합칠 때 빠지는 조건 확인

01컨텍스트와 청크를 먼저 이해하기

컨텍스트는 한 요청에서 AI 모델이 답변을 만들 때 참조하는 입력 범위라고 생각하면 쉽습니다. 긴 자료를 한꺼번에 넣기 어렵거나 구간별 검토가 필요하면 문서를 여러 청크로 나눌 수 있습니다. 그러나 입력 길이 제한과 긴 문서 처리 품질은 제품과 모델마다 다르며, 문서를 나눴다는 사실만으로 정확성이 보장되지는 않습니다. 이 실습의 DOC-01은 긴 문서 처리 절차를 작게 재현하기 위한 가상 예제일 뿐 실제 긴 문서가 아닙니다.

DOC-01/v1
C1: [L1] 가상 공방의 회원은 등록회원만 신청할 수 있다. [L2] 신청은 10월 18일 18:00까지 받는다.
C2: [L2] 신청은 10월 18일 18:00까지 받는다. [L3] 정원은 12명이다. [L4] 참가비는 8,000원이다.
C3: [L5] 신청 취소는 10월 16일 18:00까지 요청할 수 있다. [L6] 정원 초과 시 대기 명단에 올리며 참가 확정은 아니다.

2023년 Anthropic 연구에서는 긴 입력에서 답변에 필요한 근거를 먼저 찾는 방식을 시험했습니다. 특정 실험이므로 현재 모델의 성능 보장으로 일반화하지 않습니다.

02청크마다 근거를 먼저 추출하기

처음부터 전체 요약문을 만들기보다 각 청크에서 주장과 조건을 행 단위로 추출합니다. 이때 DOC-01과 v1을 함께 기록하면 다른 문서나 이전 버전의 내용이 섞였는지 확인하기 쉽습니다. 새 채팅에서 다음 단계를 진행한다면 이전 대화가 자동으로 이어진다고 가정하지 말고 필요한 입력자료와 지시를 다시 제공하는 편이 안전합니다.

아래 자료만 사용해 청크별 근거를 추출하세요.
각 행에 문서 ID, 버전, 청크, 원문 행 번호, 사실을 적으세요.
원문에 없는 연도, 요일, 결제 방법, 환불 조건은 추측하지 마세요.
같은 문장이 여러 청크에 있더라도 아직 삭제하지 말고 표시하세요.

[여기에 DOC-01/v1의 C1~C3 전체를 다시 붙여넣기]

03중복을 제거하되 서로 다른 조건은 합치지 않기

부분 추출을 합칠 때는 먼저 모든 항목의 DOC와 version이 같은지 확인합니다. 다음으로 C1과 C2에 반복된 L2만 하나로 정리합니다. 반대로 신청 마감과 취소 마감은 날짜와 의미가 모두 다르므로 하나의 기한으로 합치면 안 됩니다. 청크 경계에서는 반복 문장뿐 아니라 앞뒤 조건이 잘려 의미가 달라지지 않았는지도 확인해야 합니다.

부분 추출 결과를 하나로 합치세요.
1. 모든 항목이 DOC-01/v1인지 확인
2. 동일 근거 L2의 중복만 제거
3. 신청 기한과 취소 기한을 별도 항목으로 유지
4. L1~L6의 여섯 근거가 최종 결과에 모두 반영됐는지 체크
5. 원문에 없는 결제 방식, 환불 정책, 연도, 요일을 추가하지 않기
마지막에 사용한 근거 행 번호를 표시하세요.

편집 예시 · 실제 제품 실행 결과 아님
- 대상: 등록회원만 신청할 수 있다. [L1]
- 신청 기한: 10월 18일 18:00까지이다. [L2]
- 정원: 12명이다. [L3]
- 참가비: 8,000원이다. [L4]
- 취소 요청 기한: 10월 16일 18:00까지이다. [L5]
- 정원 초과 시 대기 명단에 오르지만 참가가 확정된 것은 아니다. [L6]
확인: DOC-01/v1, L2 중복 제거, L1~L6 보존.

04누락 실패를 만들고 원문으로 되돌아가기

청크별 요약이 자연스럽게 읽혀도 전체 범위를 덮는다는 보장은 없습니다. 예를 들어 C3를 빠뜨리면 결과 문장은 매끄럽지만 취소 기한과 대기 명단 조건이 통째로 사라집니다. 따라서 완성된 문장을 읽는 것만으로 검수하지 말고, 원래 계획한 청크 목록과 근거 행 목록을 역으로 대조해야 합니다.

편집 예시 · 실제 제품 실행 결과 아님
등록회원만 신청할 수 있으며 신청은 10월 18일 18:00까지입니다. 정원은 12명이고 참가비는 8,000원입니다.
문제: C3가 누락되어 L5의 취소 기한과 L6의 대기 조건을 확인할 수 없습니다.

방금 결과를 DOC-01/v1 원문과 다시 대조하세요.
C1, C2, C3가 모두 사용되었는지 먼저 확인하고 L1~L6 가운데 빠진 행을 찾으세요.
빠진 내용을 원문 표현의 의미를 바꾸지 않는 범위에서 복원하세요.
원문에 없는 연도·요일·결제·환불 조건은 보충하지 마세요.

05전체 범위를 체크한 뒤 다음 검수로 넘기기

마지막 단계는 요약문의 문장 품질보다 추적 가능성을 확인하는 것입니다. DOC와 버전, 예정했던 모든 청크, 근거 행 범위, 중복 제거 내역을 남기면 무엇이 빠졌는지 다시 확인하기 쉽습니다. 긴 문서에서는 청크 수가 늘수록 이 기록이 중요해집니다. 다음 글의 평가표 방식과 연결하면, 이렇게 만든 결과를 고정된 사실·조건 기준으로 다시 채점하여 '그럴듯한 요약'과 '검수 가능한 결과물'을 구분할 수 있습니다.

최종 체크
[ ] 모든 자료가 DOC-01/v1인가
[ ] C1·C2·C3가 모두 처리되었는가
[ ] L2 중복만 제거했는가
[ ] L1~L6 여섯 근거가 모두 남았는가
[ ] 신청 10월 18일 18:00과 취소 10월 16일 18:00을 구별했는가
[ ] 대기 명단이 참가 확정으로 바뀌지 않았는가
[ ] 결제·환불·연도·요일을 추측하지 않았는가
[ ] 새 채팅에서는 입력자료와 지시를 다시 제공했는가

직접 확인할 항목

가상 자료와 편집 예시를 원문 및 체크리스트와 대조합니다. AI 제품에서 실행한 결과가 아닙니다.

• DOC-01과 버전 v1이 모든 단계에서 유지되는지 확인
• C1·C2·C3와 L1~L6의 전체 범위를 대조
• L2만 중복 제거되고 L5·L6가 보존되는지 확인
• 신청 기한과 취소 기한이 서로 바뀌거나 합쳐지지 않았는지 확인
• 원문에 없는 결제·환불·연도·요일이 생성되지 않았는지 확인

원리 설명의 참고 자료