AIで自由記述の意見をテーマ別に整理する：複数ラベルと分類保留を扱う

016つの意見をID付きでそのまま準備する

自由記述意見を分類するときは、最初から要約せず、文を原文のまま保持します。短い1文の中にも2つのテーマが入る場合があるためです。この例ではF3に文字サイズと位置表示の問題が両方含まれているため、1つだけ選ぶと情報が抜けます。一方、F6の「感想なし」は無理に肯定や否定に分類しません。

F1 案内の文字が小さい
F2 場所の案内が分かりにくい
F3 案内の文字が小さく、場所の表示も不足している
F4 進行担当者の説明が親切
F5 次回も参加したい
F6 感想なし

今回の実習で使用するラベルは、視覚案内、場所案内、進行担当者、再参加、分類保留の5つです。感情スコアや満足度段階は入力資料にないため、作成しません。

02複数ラベルと分類保留のルールをプロンプトに書く

テーマ分類をAIに任せるときは、ラベル名だけでなく、複数ラベルを許可するかどうかも最初に決める必要があります。1人の意見が複数テーマにまたがる場合、ラベル集計の合計と回答者数が同じになるとは限りません。この例での目標集計は、視覚案内2、場所案内2、進行担当者1、再参加1、分類保留1で、ラベル合計は7です。

F1〜F6の意見を以下の5つのラベルで分類してください。

ラベル:
- 視覚案内
- 場所案内
- 進行担当者
- 再参加
- 分類保留

ルール:
- 1つの意見に異なるテーマが含まれる場合は、複数ラベルを許可してください。
- F3のように2つのテーマが明示されている場合は、両方のラベルを付けてください。
- 「感想なし」のように実際の評価内容がない回答は、分類保留にしてください。
- 肯定・否定の感情強度、満足度スコア、参加者全員が満足したかどうかを推測しないでください。
- 原文にない理由を追加しないでください。
- 各回答のIDと原文を維持してください。
- 最後にラベル別の件数を集計してください。

複数ラベルを許可するという文が抜けると、F3でどちらか1つだけが選ばれる可能性があります。また、分類保留をあらかじめ許可しておくことで、情報がない回答を無理に別のテーマへ入れることを減らせます。

03個別分類と集計を一緒に確認する

以下の結果は、特定のAIの自動分類精度を測定したものではありません。入力とラベル集計がどのようにつながるかを示すために、AIの補助を用いて構成・確認した編集例です。人がF1〜F6を1つずつ読み、ラベルを再確認する必要があります。

F1 → 視覚案内
F2 → 場所案内
F3 → 視覚案内, 場所案内
F4 → 進行担当者
F5 → 再参加
F6 → 分類保留

ラベル集計:
視覚案内 2
場所案内 2
進行担当者 1
再参加 1
分類保留 1

回答者数: 6
ラベル合計: 7
F3に複数ラベルが適用されているため、ラベル合計7が回答者数6より大きいことは誤りではない。

04テーマ分類を満足度分析へ拡大解釈しない

テーママップは、どのような内容が言及されたかを整理するためのものであり、参加者全体の感情や満足度を自動判定するものではありません。F4が親切だったと述べ、F5が再参加したいと述べているからといって、6名全員が満足したとは言えません。F1〜F3の不便に関する表現も、感情の強さを数値化する根拠にはなりません。

全体として参加者の満足度は非常に高かったです。6名全員がイベントに肯定的であり、F1〜F3は軽い不満にとどまります。F6も特に不満がないため、満足していたと考えられます。

このような誤りを減らすには、テーマ、感情、満足度、行動意向を別々の分析項目として扱う必要があります。この実習ではテーマだけを分類し、F5の「次回も参加したい」は再参加意向としてのみ記録します。

05ラベル漏れや誤った解釈を再依頼で修正する

例えばF3が場所案内だけに分類されたり、F6が肯定に分類された場合は、該当IDだけを指定して再依頼できます。同時に期待する集計値を検算基準として提示すると、人が再確認しやすくなります。

分類結果を再確認してください。

- F3には「案内の文字が小さい」と「場所の表示が不足している」が両方あるため、視覚案内と場所案内の両方を適用してください。
- F6の「感想なし」には評価内容がないため、分類保留にしてください。
- 感情の強さや満足度を新たに推測しないでください。

修正後の集計が以下と一致するか確認してください。
視覚案内 2
場所案内 2
進行担当者 1
再参加 1
分類保留 1

回答者は6名ですが、複数ラベルのためラベル合計は7です。この違いを誤りとして修正しないでください。

集計値を提示したからといって、その数字に無理に合わせて分類してはいけません。数字は原文から再計算する検算値であり、最終判断は各回答内容とラベル定義が一致しているかを確認する過程で行う必要があります。

06回答者数とラベル数を区別して最終確認する

複数ラベル方式では、人数とラベル数が異なることは自然です。報告するときも、回答者6名とラベル合計7を同じ種類の数字として扱わないようにします。以下のチェックリストで個別ラベルと合計を一緒に確認します。

[ ] F1は視覚案内か？
[ ] F2は場所案内か？
[ ] F3に視覚案内と場所案内の2つのラベルが両方あるか？
[ ] F4は進行担当者か？
[ ] F5は再参加か？
[ ] F6は分類保留か？
[ ] 視覚案内2、場所案内2、進行担当者1、再参加1、分類保留1か？
[ ] 回答者数は6で、ラベル合計は7か？
[ ] ラベル合計7を誤りと判断していないか？
[ ] 全員満足、感情の強さなど原文外の解釈を追加していないか？

実際の自由記述資料では、まず少量の例でラベル定義を試した後に分類基準を固定する方法が考えられます。このチュートリアルは架空の6つの文を使った編集実習であり、調査結果の代表性や統計的意味を判断するものではありません。

自分で確認する項目

F1〜F6の架空の自由記述意見を対象に、複数ラベルのルールとラベル別件数を人が再計算して確認した編集例

• F3に視覚案内と場所案内の両方が適用されているか確認
• F6が分類保留になっているか確認
• ラベル別件数が2, 2, 1, 1, 1になっているか確認
• 回答者6名とラベル合計7を区別しているか確認
• 感情の強さや全員満足を推測していないか確認