AI 보고서 검토: 숫자·출처·인과관계 확인과 제출 전 체크리스트

01문장의 자신감 대신 근거를 확인하기

AI 보고서가 매끄럽게 읽혀도 숫자와 출처가 맞는지는 따로 확인해야 합니다. NIST의 생성형 AI 위험 지침은 틀린 내용뿐 아니라 논리와 인용도 만들어질 수 있다고 설명하며, 출력의 출처와 인용을 검토하도록 제안합니다. 이 글에서는 숫자를 담은 문장을 하나씩 분리해 원자료, 계산식, 최종 표현을 연결합니다.

02문장을 세 종류로 나누기

하나의 문장에 세 종류가 섞이면 짧게 나눕니다. “건수가 늘었고 자동화가 효과를 냈다”에서 앞부분은 집계로 확인할 수 있지만 뒷부분은 별도의 근거가 필요합니다. 숫자가 맞다고 원인 설명까지 맞는 것은 아닙니다.

03문장별 검수 순서

1. 검수 대상 초안을 복사하고 숫자·비율·날짜·출처를 포함한 문장에 번호를 붙입니다.
2. 각 문장에서 확인할 주장을 하나만 남겨 claim-log.txt에 옮깁니다.
3. 원자료 위치와 정의를 적습니다. URL만 있는 경우 문서를 직접 열어 표·쪽·기준일과 해당 수치를 찾습니다.
4. 직접 인용한 값과 계산한 값을 나눕니다. 계산값에는 분자·분모·단위·반올림 규칙을 적습니다.
5. 합계·증감·비율·평균을 원자료로 다시 계산합니다. 같은 AI에게 맞는지 한 번 더 묻는 일만으로 검수를 끝내지 않습니다.
6. 확인됨, 수정 필요, 근거 부족, 확인 불가 중 상태를 지정합니다. 근거 부족 문장은 수치를 바꿔 유지하지 말고 주장 범위를 줄입니다.
7. 수정본과 검수 기록을 함께 보관하고 원자료가 바뀌면 영향을 받는 문장부터 다시 확인합니다.

04직접 작성한 합성 원자료

작업 시간과 비용은 같은 완료 요청 묶음에 대응한다고 정의했습니다. 대기 시간, 미완료 요청의 시간, 다른 부서의 비용이 섞이면 아래 건당 지표는 같은 뜻이 되지 않습니다. 실제 자료에서는 이 대응 관계를 먼저 확인해야 합니다.

검수 연습용 초안 — 오류를 찾기 위해 직접 작성한 문장입니다. 실제 AI 서비스의 출력이 아닙니다.
① 8월 처리 완료 건수는 전월보다 25 % 증가했다.
② 기한 내 완료율은 90 %에서 92 %로 2 % 개선됐다.
③ 두 달 전체 기한 내 완료율은 월별 비율의 평균인 91.0 %다.
④ 건당 평균 작업 시간은 22.5분에서 21.0분으로 6.7 % 줄었다.
⑤ 비용 총액은 증가했지만 건당 비용은 3000원에서 2800원으로 낮아졌다.
⑥ AI 도입 덕분에 작업 시간이 줄었으므로 모든 팀에 바로 확대해야 한다. [근거 자료 없음]

05비율과 평균을 다시 계산하기

두 달 전체 비율은 월별 비율을 단순 평균하지 않고 원래 분자와 분모를 합쳐 계산합니다. 91.0 %와 91.1 %의 차이가 작아 보여도 계산 대상이 다르다는 점이 핵심입니다. 90 %에서 92 %로 바뀐 차이는 2 %p이며, 상대 증가율을 구하면 약 2.2 %입니다.

작업 시간은 시간 단위로 주어졌으므로 60을 곱해 분으로 바꾼 뒤 건수로 나눕니다. 계산값은 원래 정밀도로 보관하고 문장에서는 소수 첫째 자리까지 표시했습니다. 반올림한 월별 값만으로 전체 지표를 다시 계산하지 않습니다.

06링크가 있는 문장도 원문에서 확인하기

1. 기관의 공식 페이지나 원자료 제공처에서 문서를 엽니다. 보고서에 적힌 제목·작성 주체·날짜가 실제 문서와 같은지 봅니다.
2. 주장에 쓰인 숫자가 해당 표나 문단에 존재하는지 찾습니다. 검색 결과 요약문만으로 확인하지 않습니다.
3. 자료의 기준 기간, 대상 집단, 단위, 표본·추정 여부, 개정 여부를 읽습니다. 발표일과 관측 기간을 혼동하지 않습니다.
4. 원문이 말한 범위보다 초안이 넓게 주장하는지 봅니다. 특정 표본의 변화가 모든 팀의 효과를 뜻하지 않습니다.
5. 접근할 수 없거나 근거 문단이 없으면 확인 불가로 남깁니다. 빈 출처를 그럴듯한 제목이나 URL로 채우지 않습니다.

이 합성 예제의 숫자 출처는 source-data.json입니다. NIST 문서는 검수 절차의 참고자료일 뿐, 위 가상의 월간 수치를 뒷받침하는 출처가 아닙니다. 방법론의 출처와 숫자의 출처를 구분해 적습니다.

07수정된 문장과 확인법

검수 후 문장 — 합성 자료에 대한 설명이며 실제 성과가 아닙니다.
8월 처리 완료 건수는 1500건으로 7월 1200건보다 25.0 % 증가했다.
기한 내 완료율은 90.0 %에서 92.0 %로 2.0 %p 높아졌다.
두 달 전체 기한 내 완료율은 2460/2700×100으로 약 91.1 %다.
완료 건당 평균 작업 시간은 22.5분에서 21.0분으로 약 6.7 % 감소했다.
총비용은 3600000원에서 4200000원으로 약 16.7 % 증가했고,
완료 건당 비용은 3000원에서 2800원으로 약 6.7 % 감소했다.
자료에는 AI 도입 여부, 작업 난이도, 인력 구성, 다른 변화 요인이 없다.
따라서 차이의 원인이나 확대 도입의 효과는 이 자료만으로 판단할 수 없다.
출처: source-data.json, months[0], months[1]; 설명용 합성 자료.

①·④·⑤는 정의와 계산을 확인한 뒤 유지할 수 있습니다. ②는 2 %를 2 %p로 고치고, ③은 분자·분모 합계로 다시 계산합니다. ⑥은 자료에 없는 원인과 권고이므로 삭제하거나 별도의 검증 과제로 옮깁니다. 검수 기록에는 잘못된 문장만 남기지 말고 유지한 문장도 근거 위치를 남겨야 다음 수정 때 재확인할 수 있습니다.

• 검산 확인값: 2700건, 기한 내 2460건, 전체 비율 91.111… %
• 단위 확인값: 450시간 = 27000분; 525시간 = 31500분
• 비용 확인값: 총비용 +16.666… %, 건당 비용 −6.666… %
• 결론 범위: 두 달 자료의 차이를 기술할 수 있으나 AI의 인과 효과는 확인하지 못함

08흔한 오류와 적용 한계

• 분모를 바꿔 놓고 같은 지표로 비교하지 않습니다. 접수 건수와 완료 건수는 다른 분모입니다.
• 원자료가 없는 항목을 0 또는 평균값으로 대신 채우지 않습니다.
• 합계의 증가와 건당 지표의 감소는 동시에 가능하므로 서로 모순이라고 지우지 않습니다.
• 공식 문서가 연결되어 있다는 이유만으로 문서가 하지 않은 주장까지 승인하지 않습니다.
• 숫자 검산만으로 원자료의 진실성, 표본의 대표성, 법적·재무적 판단까지 검증했다고 표시하지 않습니다.

다운로드에는 README.txt, source-data.json, draft-for-review.txt, corrected-summary.txt, claim-log.txt, expected-checks.json이 들어 있습니다. 숫자는 로컬 Python으로 다시 계산했습니다. 실제 AI 서비스나 보고서 생성 시스템의 정확도를 평가한 것은 아닙니다. 참고자료는 2026년 9월 19일 공식 페이지에서 확인했습니다.

AI에게 보고서 제출 전 최종 검수를 요청하기

보고서 초안을 AI에게 다시 보여줄 때는 단순히 '틀린 부분을 찾아줘'라고 요청하기보다 확인 가능한 범위를 제한하는 것이 좋습니다. AI는 제공하지 않은 원문이나 외부 근거에 실제로 어떤 사실이 있는지 확인할 수 없으므로, 자료에 없는 내용을 사실이라고 보증하게 해서는 안 됩니다. 대신 원문과 초안 사이의 숫자 불일치, 계산 오류, 출처 표시 누락, 과도한 표현을 찾도록 요청할 수 있습니다. 특히 두 값이 함께 변했다는 관찰만으로 한쪽이 다른 쪽의 원인이라고 결론 내리지 않았는지도 따로 확인합니다.

아래 원문과 보고서 초안을 비교해 제출 전 검수를 해 주세요.

검수 항목:
1. 원문에 있는 숫자와 보고서의 숫자를 하나씩 대조하세요.
2. 백분율, 합계, 평균 등 계산이 있으면 사용된 숫자와 계산식을 다시 확인하세요.
3. 각 핵심 주장에 원문에서 대응되는 문장이나 근거가 있는지 표시하세요.
4. 원문에 없는 사실은 사실 여부를 확인했다고 말하지 말고 '제공된 원문만으로 확인 불가'라고 표시하세요.
5. 두 현상이 함께 나타났다는 내용과 한 현상이 다른 현상의 원인이라는 주장을 구분하세요.
6. 원문이 인과관계를 입증하지 않는데 '때문에', '효과가 있었다', '증가시켰다'처럼 강한 표현을 사용한 부분을 찾아 주세요.
7. 수정이 필요한 문장은 원문 범위 안에서 더 보수적인 문장으로 제안하세요.

결과는 '문제 문장 / 문제 유형 / 원문 근거 / 수정 제안' 형식으로 정리하세요.

실행·검증 기록

Windows 로컬 Python 표준 라이브러리 Fraction 및 Decimal; 공식 출처 확인일 2026-09-19

• 완료 건수·기한 내 완료 건수 합계, 월별/전체 비율, 증감률 검산
• 시간→분 환산, 건당 시간·비용과 변화율 검산
• 검산값을 expected-checks.json으로 저장하고 본문 표시값과 대조

사이트 전체의 작성·검증 원칙

참고 출처

설명과 예제는 직접 작성했습니다. 관련 동작과 개념은 아래 공식 자료에서 확인할 수 있습니다.

• NIST AI 600-1, Generative AI Profile · 2.2절 및 MS-2.5-003 (새 탭) ↗ (New tab)