長い計算をさせると、途中の1行の取り違えが最後まで尾を引きます。答えだけを見ても、どこで崩れたかは分かりません。Learn Promptingが解説する自己検証は、出した答えから元の条件を逆算させ、条件に戻るかどうかで答えを選ぶ方法です。

手順1:前向きの推論で候補を複数出す
質問をそのまま渡し、途中の考えを書かせて答えを出させます。これを1回で終わらせず、設定をずらして繰り返します。解説は、温度、top K、top Pのいずれかを動かすと、出力にばらつきが出るとしています。
| 設定 | 範囲 | 動かすとどうなるか |
|---|---|---|
| 温度 | 0.0〜2.0 | 上げるほどばらつく |
| top K | 1〜100 | 上げるほど候補が広がる |
| top P | 0.0〜1.0 | 変更しなければ使われない |
候補は、答えの部分だけを抜き出して並べます。5つの候補が3対2に割れる程度が、比べやすい状態です。
手順2:質問を宣言文に書き換える
候補の答えを、質問文に埋め込みます。「リンゴが10個と8個あります。差はいくつですか」という問いなら、「リンゴは10個と8個あり、差は2個です」という文にします。
疑問の形のままでは、条件の予測を頼めません。断定の形に直すことで、続きの問いを立てられるようになります。
手順3:元の条件を言い当てさせる
書き換えた文を渡し、そこから元の数を推測させます。「この結論が正しいとして、最初のリンゴの数はいくつだったか」と尋ねる形です。
ここで10と8が出れば、結論は条件と整合しています。別の数が出れば、途中の推論が条件から離れています。判定は、数値の一致だけでなく、条件の要素がすべて説明できるかで見ます。
手順4:一致した数を数える
候補ごとに、条件を言い当てられたかを記録します。表にすると、どの候補が外れたかが残ります。
| 候補 | 答え | 逆算の結果 | 一致 |
|---|---|---|---|
| 1 | 2個 | 10と8 | する |
| 2 | 2個 | 10と8 | する |
| 3 | 18個 | 10と8 | しない |
3番目のように、答えが違っても逆算で元の数が出ることがあります。この場合は、条件の一部だけを拾っている可能性があるため、外れとして扱います。
手順5:最多の候補を採り、割れたら人に回す
一致が最も多い答えを最終の答えにします。同数で並んだ場合は、採らないほうが安全です。人に回す条件を、作業の前に決めておきます。
解説は、この方法が常識的な推論を含む課題で精度を上げたと報告しています。一方で、判断の材料はモデル自身の出力です。条件の読み方そのものを取り違えている場合は、逆算しても同じ取り違えが残ります。出力の点検はLLMに自分の出力を評価させる5ステップで扱っています。
FAQ
Q. 何回くらい候補を出せばよいですか。
A. 解説は回数の指定をしていません。5回から10回で始め、割れる問題が残る場合に増やす形が扱いやすいです。回数を増やすと、その分だけ時間と費用も増えます。
Q. 答えが合っていても式が違う場合はどうなりますか。
A. 結論から条件を言い当てられれば、途中の式が違っていても一致として数えられます。この方法が見るのは結論の整合で、計算の過程そのものではありません。
あわせて使いたいツール
同じ質問を繰り返すため、設定を固定できる環境を選びます。料金と提供条件は各サービスの公式情報で確認してください。
出典
出典:Learn Prompting「自己検証プロンプティング」(2024年9月27日更新、Sander Schulhoff著)。前向きの推論と後ろ向きの検証という2段階、サンプリングによる複数候補の生成、温度とtop Kとtop Pの範囲、結論を宣言文に書き換えて条件を予測させる手順、多数決による選択は同記事の記載に基づきます。
関連ガイド
- LLMに自分の出力を評価させる5ステップ
- 出力を自分で点検させるプロンプト見本
- 用語:自己改善(Self-Refine)
- プロンプトマイニングで依頼文の型を選ぶ5ステップ
- 入力の後ろに指示を置く防御5ステップ
- エージェントでナレッジグラフを作る5ステップ
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。
