答えから条件を逆算させる自己検証5ステップ

best

UXリサーチャー/AIツール評価
答えから条件を逆算させる自己検証5ステップ

長い計算をさせると、途中の1行の取り違えが最後まで尾を引きます。答えだけを見ても、どこで崩れたかは分かりません。Learn Promptingが解説する自己検証は、出した答えから元の条件を逆算させ、条件に戻るかどうかで答えを選ぶ方法です。

答えから条件を逆算させる自己検証5ステップのポイント

手順1:前向きの推論で候補を複数出す

質問をそのまま渡し、途中の考えを書かせて答えを出させます。これを1回で終わらせず、設定をずらして繰り返します。解説は、温度、top K、top Pのいずれかを動かすと、出力にばらつきが出るとしています。

設定 範囲 動かすとどうなるか
温度 0.0〜2.0 上げるほどばらつく
top K 1〜100 上げるほど候補が広がる
top P 0.0〜1.0 変更しなければ使われない

候補は、答えの部分だけを抜き出して並べます。5つの候補が3対2に割れる程度が、比べやすい状態です。

手順2:質問を宣言文に書き換える

候補の答えを、質問文に埋め込みます。「リンゴが10個と8個あります。差はいくつですか」という問いなら、「リンゴは10個と8個あり、差は2個です」という文にします。

疑問の形のままでは、条件の予測を頼めません。断定の形に直すことで、続きの問いを立てられるようになります。

手順3:元の条件を言い当てさせる

書き換えた文を渡し、そこから元の数を推測させます。「この結論が正しいとして、最初のリンゴの数はいくつだったか」と尋ねる形です。

ここで10と8が出れば、結論は条件と整合しています。別の数が出れば、途中の推論が条件から離れています。判定は、数値の一致だけでなく、条件の要素がすべて説明できるかで見ます。

手順4:一致した数を数える

候補ごとに、条件を言い当てられたかを記録します。表にすると、どの候補が外れたかが残ります。

候補 答え 逆算の結果 一致
1 2個 10と8 する
2 2個 10と8 する
3 18個 10と8 しない

3番目のように、答えが違っても逆算で元の数が出ることがあります。この場合は、条件の一部だけを拾っている可能性があるため、外れとして扱います。

手順5:最多の候補を採り、割れたら人に回す

一致が最も多い答えを最終の答えにします。同数で並んだ場合は、採らないほうが安全です。人に回す条件を、作業の前に決めておきます。

解説は、この方法が常識的な推論を含む課題で精度を上げたと報告しています。一方で、判断の材料はモデル自身の出力です。条件の読み方そのものを取り違えている場合は、逆算しても同じ取り違えが残ります。出力の点検はLLMに自分の出力を評価させる5ステップで扱っています。

FAQ

Q. 何回くらい候補を出せばよいですか。

A. 解説は回数の指定をしていません。5回から10回で始め、割れる問題が残る場合に増やす形が扱いやすいです。回数を増やすと、その分だけ時間と費用も増えます。

Q. 答えが合っていても式が違う場合はどうなりますか。

A. 結論から条件を言い当てられれば、途中の式が違っていても一致として数えられます。この方法が見るのは結論の整合で、計算の過程そのものではありません。

あわせて使いたいツール

同じ質問を繰り返すため、設定を固定できる環境を選びます。料金と提供条件は各サービスの公式情報で確認してください。

  • ChatGPT:設定を変えながら同じ質問を投げる用途に使える
  • Claude:長い計算問題を渡し、逆算の結果を比べる用途に使える
  • Cursor:判定の記録を手元のファイルに残す用途に使える

出典

出典:Learn Prompting「自己検証プロンプティング」(2024年9月27日更新、Sander Schulhoff著)。前向きの推論と後ろ向きの検証という2段階、サンプリングによる複数候補の生成、温度とtop Kとtop Pの範囲、結論を宣言文に書き換えて条件を予測させる手順、多数決による選択は同記事の記載に基づきます。

関連ガイド

基礎から順に学びたい場合は、チュートリアルと依頼文の見本を用意しています。

チュートリアル一覧を開く →

プロンプト集(シーン別)を見る →



メールマガジン

最新のAI情報をメールで受け取る

新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。

ご登録後、確認メールをお送りします。配信停止はいつでも可能です。

週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo