候補を検証役で重み付けする：DiVeRSe の5ステップ

同じ問いを何度か解かせて多数決を取ると、もっともらしい誤りが多数派になることがあります。Learn Prompting が紹介する DiVeRSe は、解き方の候補を増やしたうえで、検証役に筋の正しさを採点させ、点数で重みを付けて決める方式です。ここでは、その流れを5つの手順に分けます。

ステップ1：視点の違う依頼文を用意する

1つの依頼文から何度も出させると、似た解き方が並びます。Learn Prompting は、視点の異なる複数の依頼文を用意し、それぞれから解き方を出させる構成を説明しています。手元では「式を立ててから解く」「場合分けで整理する」「図の関係を言葉にする」のように、進め方の違う3本を用意します。依頼文の作り分けはプロンプトエンジニアリングの頁の型が使えます。

ステップ2：それぞれで複数の解き方を出させる

依頼文ごとに、複数の解き方を出させます。Learn Prompting の説明では、依頼文の数と1本あたりの解き方の数を掛けた数だけ候補が得られます。3本の依頼文から3通りずつ出せば9通りになります。候補は答えだけでなく、途中の段まで書かせておきます。段がないと、次の手順で採点できません。

ステップ3：検証役に筋の正しさを採点させる

候補を別の応答に渡し、筋の正しさを点数で付けさせます。Learn Prompting は、問いと解き方の両方を見て、正しそうかを採点する役を置く構成を説明しています。手元では、候補ごとに「各段の根拠が示せているか」を5段階で付けさせ、点数の理由を1行添えさせます。採点の依頼文は、候補を出した依頼文と分けた方が偏りにくくなります。

ステップ4：段ごとに誤りの位置を指させる

点数だけでなく、どの段で崩れているかを指させます。Learn Prompting は、DiVeRSe の特徴として、推論の各段を独立に検証し、誤りの位置を特定する仕組みを挙げています。手元では「誤りがある場合、最初に崩れている段の番号を書いてください」と依頼します。位置が分かると、候補を丸ごと捨てずに一部だけ採る判断ができます。

ステップ5：点数の重みで答えを決める

決める段では、候補ごとの点数を重みとして集計し、答えを決めます。Learn Prompting は、単純に数を数えるのではなく、正しい確からしさで重みを付けた投票だと説明しています。手元で集計するときは、点数が近い候補が複数残ったら決めずに人へ回します。同じ答えを複数回作って比べる考え方は自己整合性の頁に整理しています。

FAQ

Q. 自己整合性と何が違いますか？

A. 決め方です。自己整合性は同じ答えの数を数えますが、DiVeRSe は検証役の採点を重みとして使います。数だけで決めると、もっともらしい誤りが勝つ場合があります。

Q. 検証役は同じモデルで構いませんか？

A. 構成としては可能ですが、同じ偏りを引き継ぎます。手元で試すときは、採点の依頼文を変える、別のモデルに渡す、条件を伏せて渡す、といった工夫で偏りを減らします。

あわせて使いたいツール

本記事の手順を実際に回すときに、候補になるツールを挙げます。いずれも無料から試せる範囲があり、料金や機能は各サービスの公式情報で確認してください。

• ChatGPT：候補を出す段と採点する段を分けて、同じ画面で往復できます
• Poe：採点役を別のモデルに置き、偏りの乗りにくい構成を試せます

関連ガイド

同じ時期に公開した実務ガイドと、手順の前提になる用語ページです。コピーして使える依頼文が欲しいときは、プロンプト集も参照してください。

• 例示を能動的に選ぶ：Vote-K の5ステップ
• 技法を1本に束ねる：プロンプト組み合わせの5ステップ
• LLM による評価（用語辞典）
• プロンプト集（そのまま使える依頼文）
• AI用語辞典（五十音順の一覧）
• はじめての LLM 活用（学習ルート）
• ガイド一覧
• AIツール一覧（道具から探す）
• 比較記事一覧／レビュー一覧

出典

出典：Learn Prompting「DiVeRSe：推論の段ごとに検証する多様な検証役」（原題 DiVeRSe (Diverse Verifier on Reasoning Step)、2024年10月3日更新）。