ハルシネーションは、AI が事実と異なる内容を、もっともらしい口調で生成してしまう現象です。LLM を実務で使う上で最も重要なリスクであり、対策の型を知っておくことが不可欠です。
ハルシネーションは、AI が事実と異なる内容を、もっともらしい口調で生成してしまう現象です。LLM を実務で使う上で最も重要なリスクであり、対策の型を知っておくことが不可欠です。
ハルシネーション(Hallucination:幻覚)とは、AI(特にLLM)が実在しない情報を、まるで事実かのように自信満々に生成してしまう現象です。存在しない書籍の紹介、実際には行われていない調査の引用、実在しない関数やAPIの提案などが代表例です。このページでは、なぜハルシネーションが起きるのかをLLMの仕組みから解説し、実務で使える対策と上手な付き合い方を紹介します。
出典:my-best.ai 用語辞典「ハルシネーション(AI 幻覚)」(https://my-best.ai/ai-dictionary/hallucination/)
LLM は学習データの傾向から「自然な続き」を確率的に選びます。知識が不足・曖昧な場合でも、文章として自然な回答を作れてしまうため、事実と違う内容が流ちょうに出力されます。
実在が不確かな固有名詞・正確な数字・日付・出典の引用・学習データに少ない言語や専門分野・長い会話での文脈の混同などで起きやすくなります。
対策は 3 層で組みます。(1)資料を参照させて根拠を与える(RAG)、(2)出力に出典と「不明」と言える条件を指示する、(3)受け手側で固有名詞と数字を検証する。
「hallucination(幻覚)」はもともと医学・認知科学の用語で、AI に転用されたものです。自然言語処理では、要約などのタスクで生成文の事実性を問題にする研究(2020 年頃)から広く使われるようになり、ChatGPT の普及以降、一般にも定着しました。
社内 AI 利用規定の「検証必須」条項の根拠となる概念
出力の事実性を測るレビュー工程の設計
「不明なら不明と言う」指示の必要性を説明する
RAG や出典表示を組み込む判断材料
用語同士は相互リンクされています。未掲載の用語は用語一覧の該当項目へリンクします。
実務でそのまま使えるプロンプト例です。コピーして〔 〕内を置き換えてください。同じカードはプロンプト集にも掲載されています。
基本の防御指示
以下の質問に答えてください。 条件: ・自分の知識に根拠がある場合のみ答える ・不確かな場合は「分かりません」と述べ、その理由を 1 行で添える ・固有名詞・数字・日付は、確信度(高/中/低)を括弧で付ける 質問:(ここに質問)
検証可能な回答にする
以下の質問に答える際、各主張に出典(書名・URL・節)を添えてください。出典を挙げられない主張は書かないでください。最後に「今回の回答で出典が無い記述:なし/あり(内容)」を必ず報告してください。 質問:(質問)
空欄を補完させない
以下のタスクに取りかかる前に、回答に必要な情報のうちあなたが持っていないものをリストアップしてください。私はそれを提供します。全て揃うまで回答を生成しないでください。 タスク:(内容)
レビュー観点の標準化
以下の文章をハルシネーションの観点で点検してください。 対象:①固有名詞 ②数字・日付 ③引用 ④因果の断定。 各箇所について「疑わしい/確認済み」を分類し、疑わしいものは確認方法(公式サイト・一次資料など)を提案してください。 (文章)
重要判断の前の確認
「(主張)」という記述の正否を確認したいです。確認に適した一次資料の種類と、検索に使うキーワードを 3 パターン提案してください。資料の実在を断定せず、確認手順として提案してください。
チームの標準指示として整備
社内で使う AI への標準指示文を作成してください。要件:事実性の高い回答のみ出力/根拠が無い場合は明示/推測は「推測」とラベル付け/出典の有無を最後に報告。ビジネスメールの文体で 5 行以内にまとめてください。
定義・出典の記述は一次資料に基づきます。リンク先の内容は公開時点のものです。
ハルシネーションは仕組み上ゼロにできない前提で、根拠付け(RAG)・出典指示・重点検証の 3 層で運用するのが実務の答えです。