
AIの答えを、事実・出典・条件の3つの観点で検算する練習です。10分で1周できる手順と、判定の書き方をまとめます。
AIの答えを読んで「たぶん合っている」で終わらせていませんか。この練習は、1つの答えを3つの観点で検算し、どこを直すかを言葉にする訓練です。1周10分ほどで終わり、同じ題材を毎回変えれば繰り返し使えます。
検算の対象になる答えを1つ用意します。長さは400字程度で構いません。社内規程の要約、競合の比較、手順の説明など、あとで正誤を確認できる題材を選びます。正解を照合できる資料も手元に置きます。
答えの中から、正誤を判定できる文だけを抜き出します。意見や提案は、この段階では除きます。「2026年10月に公表された」「月額は3段階に分かれる」という形の文です。抜き出した数が、そのまま検算の対象の数になります。
抜き出せない答えは、事実を含まないか、曖昧に書かれています。後者の場合は、答え方そのものを直します。
抜き出した文を、出典が示されているものと、示されていないものに分けます。示されていない文は、正しくても確認に手間がかかります。ここで分けた数が、そのまま残作業の量になります。
数字や日付を含む文には、条件が付いているかを確認します。「月額3段階」なら、税の扱い、年払いの有無、対象プランです。条件が書かれていない場合は、書かれていないことを記録します。条件の欠けは、正誤より見つけにくい誤りです。
3つの観点を終えたら、文ごとに判定を1行で書きます。「一致」「要確認」「条件の追記が必要」の3種類で足ります。判定の理由も同じ行に書くと、後から見返せます。
判定に沿って答えを直し、同じ3つの観点でもう一度通します。2周目で「要確認」が減っていれば、検算の型が機能しています。減らない場合は、題材か依頼文の側に原因があります。
検算の考え方の元になる手法は検証質問で事実を確かめる5ステップで扱っています。依頼文の作り方はプロンプト集の見本が参考になります。
意見と事実の境目で迷う場合は、判定を保留にして構いません。保留のまま残すより、無理に白黒を付けるほうが危険です。出典が示されていない文を、示されている文と同じ扱いにしないことも、この練習の要点になります。
出典:Learn Prompting「検証の連鎖(CoVe):LLMのハルシネーションを減らす」(最終更新2024年9月27日、Bhuwan Bhatt著)。検証質問を作り、1問ずつ独立に答えさせる考え方を、この練習の手順に組み替えて構成しました。
事実確認の質問を作らせるプロンプト見本>
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →