下書きを読み返したとき、固有名詞や年号が正しいかどうかで手が止まったことはないでしょうか。Learn Promptingの解説が扱うChain-of-Verification(CoVe)は、その確認を、書いた本人ではなく質問の形で行う手法です。下書きから検証の質問を作り、1問ずつ答えさせ、その答えで下書きを直します。

手順1:下書きを出させる
最初は、普通に答えさせます。解説は、この段階の回答を土台の回答と呼び、事実として正しいとは限らないと断っています。長い文章や、あまり知られていない事実ほど、誤りが混ざりやすくなります。
下書きは、消さずに残します。後の比較で、どこが変わったかを見るためです。
手順2:検証質問を作らせる
下書きを渡し、確認すべき問いの一覧を作らせます。解説の例では「ニューヨーク生まれの政治家」に対して「ヒラリー・クリントンはどこで生まれたか」「ドナルド・トランプはどこで生まれたか」という形の質問が並びます。
質問は、下書きの主張を1つずつ切り出す形にします。「この文章は正しいか」という聞き方では、確認になりません。
手順3:質問を1問ずつ独立に答えさせる
作った質問を、下書きとは切り離して1問ずつ投げます。解説は、この分離が要点だと説明しています。下書きと一緒に渡すと、最初の言い回しを引きずり、同じ誤りが返ってくるためです。
解説の例では、下書きで「ニューヨーク生まれ」とされた人物のうち、実際の出生地が別だったものが、この段階で見つかります。1問ずつの答えのほうが、長い文章の中の記述より正確になりやすいという観察です。
| 段階 | 依頼の内容 | 見るポイント |
|---|---|---|
| 土台の回答 | 質問にそのまま答えさせる | 主張を1つずつ取り出せるか |
| 検証の計画 | 主張ごとに確認の問いを作らせる | 問いが主張に対応しているか |
| 検証の実行 | 問いを1問ずつ独立に答えさせる | 下書きと違う答えが出た箇所 |
| 最終稿 | 答えを突き合わせて書き直す | 落とした主張と残した主張の理由 |
手順4:答えを突き合わせて最終稿を作る
検証の答えを下書きに戻し、食い違った箇所を直します。解説の例では、出生地が違っていた人物が一覧から外れ、残った人物だけの回答になります。消すだけでなく、なぜ外したかを1行残すと、後から経緯を追えます。
解説は、この手法がゼロショット、少数例、思考の連鎖よりも成績が良かったと報告しています。閉じた質問応答ではF1が0.39から0.48に上がったという数値も載っています。数値は同解説の記載であり、手元の環境で同じ差が出るとは限りません。
手順5:効かなかった例を残す
解説は、この手法が誤りを減らすものの、無くすものではないと断っています。対象は、直接書かれた事実の誤りが中心で、推論の段の誤りは測っていません。モデルが自分の誤りに気づけない場合は、質問を作っても同じ誤りが返ります。
効かなかった例は、手順書に残します。外部の資料と突き合わせる用途には、RAG(検索拡張生成)の併用が向きます。誤りの種類はハルシネーションのページで整理しています。
FAQ
Q. 検証質問は何問くらい作ればよいですか?
A. Learn Promptingの解説は、下書きに含まれる主要な主張ごとに1問ずつ作る形で説明しています。数を増やすほど確認は細かくなりますが、その分だけ手間も増えます。
Q. 回答をまとめて答えさせると駄目ですか?
A. 解説は、検証質問を1問ずつ独立に答えさせる形を基本としています。まとめて聞くと、最初の下書きの言い回しを引きずり、誤りがそのまま残りやすいためです。
あわせて使いたいツール
検証の往復は、同じチャットの中で回せます。料金と提供条件は各サービスの公式情報で確認してください。
出典
出典:Learn Prompting「検証の連鎖(CoVe):LLMのハルシネーションを減らす」(最終更新2024年9月27日、Bhuwan Bhatt著)。4段の手順、出生地の例、1問ずつ独立に答える理由、F1が0.39から0.48へ上がったという報告、推論の誤りを測っていないという限界は同解説の記載に基づきます。
関連ガイド
- Self-Consistencyで回答の精度を上げる5ステップ
- AIの出力を検証する手順
- 用語:RAG(検索拡張生成)
- AIの出力を3つの観点で検算する練習ドリル
- 事実確認の質問を作らせるプロンプト見本
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。
