AI로 자유서술 의견을 주제별로 묶기: 복수 라벨과 분류 보류 다루기

01여섯 개 의견을 ID와 함께 그대로 준비하기

자유서술 의견을 분류할 때는 먼저 문장을 요약하지 말고 원문 그대로 보관합니다. 짧은 문장 하나에도 두 가지 주제가 들어갈 수 있기 때문입니다. 이 예시에서는 F3에 글자 크기와 위치 표지 문제가 함께 있으므로 하나만 선택하면 정보가 빠집니다. 반대로 F6의 소감 없음은 억지로 긍정이나 부정으로 분류하지 않습니다.

F1 안내 글자가 작음
F2 위치 안내가 어려움
F3 안내 글자가 작고 위치 표지가 부족함
F4 진행자 설명이 친절함
F5 다음에도 참가하고 싶음
F6 소감 없음

이번 실습에서 사용할 라벨은 시각 안내, 위치 안내, 진행자, 재참가, 분류 보류 다섯 가지입니다. 감정 점수나 만족도 단계는 입력 자료에 없으므로 만들지 않습니다.

02복수 라벨과 분류 보류 규칙을 프롬프트에 적기

주제 분류를 AI에 맡길 때는 라벨 이름뿐 아니라 복수 라벨을 허용하는지부터 정해야 합니다. 한 사람의 의견이 여러 주제에 걸칠 수 있다면 라벨 집계 합계와 응답자 수가 같지 않을 수 있습니다. 이번 예시의 목표 집계는 시각 안내 2, 위치 안내 2, 진행자 1, 재참가 1, 분류 보류 1이며 라벨 합계는 7입니다.

F1~F6 의견을 아래 5개 라벨로 분류해 주세요.

라벨:
- 시각 안내
- 위치 안내
- 진행자
- 재참가
- 분류 보류

규칙:
- 한 의견에 서로 다른 주제가 있으면 복수 라벨을 허용하세요.
- F3처럼 두 주제가 명시된 경우 두 라벨을 모두 붙이세요.
- 소감 없음처럼 실제 평가 내용이 없는 응답은 분류 보류로 두세요.
- 긍정·부정 감정 강도, 만족도 점수, 전체 참가자의 만족 여부를 추론하지 마세요.
- 원문에 없는 이유를 추가하지 마세요.
- 각 응답의 ID와 원문을 유지하세요.
- 마지막에 라벨별 개수를 집계하세요.

복수 라벨을 허용한다는 문장이 빠지면 F3에서 둘 중 하나만 선택할 가능성이 생깁니다. 또한 분류 보류를 미리 허용하면 정보가 없는 응답을 억지로 다른 주제에 넣는 일을 줄일 수 있습니다.

03개별 분류와 집계를 함께 확인하기

아래 결과는 특정 AI의 자동 분류 정확도를 측정한 것이 아닙니다. 입력과 라벨 집계가 어떻게 연결되는지 보여 주기 위해 AI 보조로 구성·검토한 편집 예시입니다. 사람이 F1~F6을 하나씩 읽으며 라벨을 다시 확인하는 과정이 필요합니다.

F1 → 시각 안내
F2 → 위치 안내
F3 → 시각 안내, 위치 안내
F4 → 진행자
F5 → 재참가
F6 → 분류 보류

라벨 집계:
시각 안내 2
위치 안내 2
진행자 1
재참가 1
분류 보류 1

응답자 수: 6
라벨 합계: 7
F3에 복수 라벨이 적용됐으므로 라벨 합계 7이 응답자 수 6보다 큰 것은 오류가 아님.

04주제 분류를 만족도 분석으로 확대해 해석하지 않기

주제 맵은 어떤 내용이 언급됐는지를 정리하는 도구이지, 참가자 전체의 감정이나 만족도를 자동으로 판정하는 도구가 아닙니다. F4가 친절하다고 했고 F5가 다시 참가하고 싶다고 했다는 사실만으로 여섯 명 전원이 만족했다고 말할 수 없습니다. F1~F3의 불편 표현도 감정의 강도를 수치로 바꿀 근거가 없습니다.

전체적으로 참가자 만족도가 매우 높았습니다. 6명 모두 행사에 긍정적이었으며, F1~F3은 약한 불만 수준입니다. F6도 특별한 불만이 없으므로 만족한 것으로 볼 수 있습니다.

이런 오류를 줄이려면 주제, 감정, 만족도, 행동 의향을 서로 다른 분석 항목으로 분리해야 합니다. 이번 실습에서는 주제만 분류하며 F5의 다음에도 참가하고 싶음은 재참가 의향으로만 기록합니다.

05라벨 누락이나 잘못된 해석을 재요청으로 바로잡기

예를 들어 F3이 위치 안내 하나로만 분류되거나 F6이 긍정으로 분류됐다면 해당 ID만 지정해 다시 요청할 수 있습니다. 동시에 기대하는 집계 숫자를 검산 기준으로 제공하면 사람이 재확인하기 편합니다.

분류 결과를 다시 검토해 주세요.

- F3에는 안내 글자가 작음과 위치 표지가 부족함이 함께 있으므로 시각 안내와 위치 안내를 모두 적용하세요.
- F6의 소감 없음에는 평가 내용이 없으므로 분류 보류로 두세요.
- 감정 강도나 만족도를 새로 추론하지 마세요.

수정 후 집계가 다음과 일치하는지 확인하세요.
시각 안내 2
위치 안내 2
진행자 1
재참가 1
분류 보류 1

응답자는 6명이지만 복수 라벨 때문에 라벨 합계는 7입니다. 이 차이를 오류로 수정하지 마세요.

집계 숫자를 제공했다고 해서 숫자에 억지로 맞춰 분류해서는 안 됩니다. 숫자는 원문에서 다시 계산할 검산값이며, 최종 판단은 각 응답 내용과 라벨 정의가 맞는지를 확인하는 과정에서 이루어져야 합니다.

06응답자 수와 라벨 수를 구분해 최종 점검하기

복수 라벨 방식에서는 사람 수와 라벨 수가 다른 것이 자연스럽습니다. 보고할 때도 응답자 6명과 라벨 합계 7을 같은 숫자로 취급하지 않아야 합니다. 아래 체크리스트로 개별 라벨과 총계를 함께 확인합니다.

[ ] F1은 시각 안내인가?
[ ] F2는 위치 안내인가?
[ ] F3에 시각 안내와 위치 안내 두 라벨이 모두 있는가?
[ ] F4는 진행자인가?
[ ] F5는 재참가인가?
[ ] F6은 분류 보류인가?
[ ] 시각 안내 2, 위치 안내 2, 진행자 1, 재참가 1, 분류 보류 1인가?
[ ] 응답자 수는 6이고 라벨 합계는 7인가?
[ ] 라벨 합계 7을 오류라고 판단하지 않았는가?
[ ] 전원 만족, 감정 강도 같은 원문 밖의 해석을 추가하지 않았는가?

실제 자유서술 자료에서는 먼저 라벨 정의를 소규모 예시로 시험한 뒤 분류 기준을 고정하는 편이 좋습니다. 이 튜토리얼은 가상 여섯 문장을 이용한 편집 실습이며, 조사 결과의 대표성이나 통계적 의미를 판단하는 과정은 포함하지 않습니다.

직접 확인할 항목

F1~F6의 가상 자유서술 의견을 대상으로 복수 라벨 규칙과 라벨별 개수를 사람이 다시 계산해 본 편집 예시

• F3에 시각 안내와 위치 안내가 모두 적용됐는지 확인
• F6이 분류 보류인지 확인
• 라벨별 개수가 2, 2, 1, 1, 1인지 확인
• 응답자 6명과 라벨 합계 7을 구분했는지 확인
• 감정 강도나 전원 만족을 추론하지 않았는지 확인