生成AIとは？回答の仕組みとハルシネーションを理解して活用する

01生成AIは何を作るのか

生成AIとは、ユーザーの依頼や入力をもとに、文章、画像、音声、コードなどの新しい形式の出力を作るAIを指します。この記事ではその中でも、会話型サービスで文章を生成するテキスト生成モデル、特に大規模言語モデル（LLM）の基本原理に範囲を絞ります。

生成AIが自然な文章を作れるからといって、人間と同じように理解したり意識的に判断したりしていると断定することはできません。また、すべての回答が正確で、常に最新情報を反映しているわけでもありません。まずは「自然に書く能力」と「事実を正しく述べる能力」を分けて考えることが重要です。

02トークンと文脈から回答が続いていく仕組み

テキスト生成モデルは、文章を内部でトークンという単位に分けて扱います。トークンは1つの単語の場合もあれば、単語の一部、記号などのより小さな単位の場合もあり、どのように分割されるかは言語やモデルによって異なります。

多くのテキスト生成LLMは、それまでに与えられた文脈をもとに次に来るトークンの可能性を計算し、その処理を繰り返して回答を続けます。このとき、毎回必ず最も確率の高いトークン1つだけを選ぶとは限らず、生成方法や設定によって結果が変わることがあります。Transformer系モデルでは、文脈内の要素同士の関係を反映するためにattentionという仕組みが使われます。

また、モデルを学習させる過程と、ユーザーの質問に対して回答を生成する過程は区別する必要があります。回答するたびに、すべての会話が即座に新しい学習データになると考えるべきではありません。また、すべての文章について毎回リアルタイムでWeb検索したり、データベースから文章をそのままコピーしたりして答えているわけでもありません。検索や計算機能が提供される場合、それらは基本的な言語生成とは別のツールとして接続されることがあります。

03自然な回答でも間違うことがある理由

言語モデルは自然につながる表現を作るのが得意でも、自然さと事実の正確さは同じ基準ではありません。もっともらしいものの事実とは異なる内容を作る現象は、一般にハルシネーションやconfabulationと呼ばれます。たとえば、実際には存在しない本、論文、リンク、統計、人物の発言などを、それらしい形式で示すことがあります。

そのため、出典が必要な質問では、タイトル、著者、日付、リンクなどを実際の原文と照合する必要があります。計算でも同じです。検索ツールや計算ツールが接続されていても、自動的に結果が完全になるわけではないため、重要な数値や出典は利用者自身が再確認する必要があります。

• 文章が自然だからという理由だけで事実だと判断しない
• 出典が示されたら、実在するか、内容が主張と一致するか確認する
• 重要な数値や計算は可能であれば独立して再計算する
• 最新性が重要な場合は、情報がいつのものか確認する

04小さな例で実際に依頼して確認する

以下は実際のサービス利用記録ではなく、編集用の実習です。架空の図書館のお知らせで、確定している情報は「土曜日14時の読書会」「定員8名」、申込方法はまだ未定とします。目的は単に短く要約することではなく、確定している事実と未定情報を分けることです。

次の架空の図書館のお知らせを2文以内で要約し、その下に「確定している情報」と「未定情報」を分けて書いてください。
確定している情報：土曜日14時の読書会、定員8名。
未定情報：申込方法。
提供されていない申込URL、電話番号、締切日は推測しないでください。

AIが「オンライン申込」、任意のURL、電話番号など原文にない情報を追加した場合は、削除するか「要確認」と表示します。要約は短くする作業ですが、短くなっただけで正確な要約になるわけではありません。

05原理を理解した後、何に活用できるか

基本原理を理解したら、次は実際の成果物を作ってみます。同じ生成AIでも、目的によって依頼方法と確認基準は変わります。

この4つは、それぞれ依頼文作成、学習練習、予定の意思決定、文書要約と、作る成果物が異なります。そのため「AIへの質問の仕方」だけを覚えるより、成果物ごとに適した確認基準まで一緒に身につけることが重要です。

自分で確認する項目

概念説明と編集用実習・実際のAI回答は異なる場合があります

• 生成AI全般と、この記事で扱うテキストLLMの範囲を区別して説明しているか確認
• トークンが単語や単語の一部などになり、言語やモデルによって異なる可能性があると説明しているか確認
• 多くのLLMが文脈をもとに次のトークンを続けて生成する一方、常に最高確率の1つだけを選ぶと断定していないか確認
• 学習過程と回答生成過程を区別しているか確認
• リアルタイムWeb検索やデータベースからのコピーをすべての回答の基本原理として説明していないか確認
• ハルシネーション、事実性、別の検索・計算ツールでも検証が必要なことを説明しているか確認
• 実習で土曜日14時、定員8名、申込方法未定という事実を維持しているか確認
• 申込URL、電話番号、締切日を推測しない基準が含まれているか確認