自由記述の答えを並べて選ばせる:Universal Self-Consistency の5ステップ

best

UXリサーチャー/AIツール評価
自由記述の答えを並べて選ばせる:Universal Self-Consistency の5ステップ

自己整合性による多数決は、答えが数値や短い語のときにしか使えません。要約や提案文のような自由記述では、同じ答えが2つと出ないからです。Learn Prompting が Universal Self-Consistency と呼ぶ形では、多数決の代わりにモデル自身に選ばせます。

自由記述の答えを並べて選ばせる:Universal Self-Consistency の5ステップのポイント

ステップ1:選べる種類の課題か確かめる

この型が向くのは、正解が1つに絞れる課題です。要約、分類、事実に基づく説明、計算の結果が該当します。向かないのは、書き手の好みで正解が変わる課題です。広告のコピーや小説の一節は、筋の通った案が複数あって当たり前なので、選ばせても意味がありません。課題の種類を先に決めてから進めます。

ステップ2:答えを3〜5本そろえる

同じ質問を繰り返し投げ、答えを3〜5本集めます。温度の設定を上げると、ばらつきが大きくなります。Learn Prompting は、この手法が Chain-of-Thought で作った答えを材料にするため、経路の多様性が効くと説明しています。集めた答えは、番号を振って1つの入力に並べます。似すぎた答えばかりなら、観点を変えた指示を足して集め直します。

ステップ3:選ぶ基準を指示文に書き下す

「いちばん良いものを選んでください」だけでは、長い答えや断定的な答えが選ばれます。基準は具体的に書きます。質問への直接の答えになっているか、示された事実と矛盾しないか、必要な要素が漏れていないか、余計な前提を足していないかの4つです。基準を箇条書きにすると、選んだ理由も同じ基準で書かせる形にできます。

ステップ4:選ばせて、理由も書かせる

並べた答えを渡し、基準に沿って1つ選ばせます。同時に、選ばなかった答えのどこが基準を満たさなかったかを1行ずつ書かせます。理由を書かせると、選ぶ基準が指示どおりに働いたかを後から確かめられます。理由が基準と対応していない場合は、選ばせ方が指示に従っていません。基準の書き方を直して、同じ材料でもう一度選ばせます。

ステップ5:選ばれた答えを人が確かめる

選ばれた答えは、そのまま採用しません。事実の部分を資料と突き合わせ、数字と固有名詞を確認します。この型が改善するのは、答えの選び方であって、答えの中身の正しさではありません。元になる答えが全部間違っていれば、選ばれたものも間違っています。確認の観点はハルシネーションの頁が参考になります。

FAQ

Q. 何本くらい集めれば足りますか?

A. Learn Prompting の例では数本から十数本の範囲で試されています。実務では3〜5本で足りることが多く、それ以上増やすと選ぶ側の負担が上がります。まず3本で試し、選び分けが難しいときだけ増やします。

Q. 選ばせる工程も同じモデルでよいですか?

A. 同じモデルで構いません。ただし、答えを作った会話とは別の会話にすると、前のやり取りに引っ張られにくくなります。別のモデルに任せる場合は、基準の書き方をそろえてください。

出典

出典:Learn Prompting「Universal Self-Consistency:自由記述の答えを並べて選ばせる」(原題 Universal Self-Consistency、2024年11月8日更新)。多数決の基本形は自己整合性の頁にあります。

あわせて使いたいツール

本記事の手順を実際に回すときに、候補になるツールを挙げます。いずれも無料から試せる範囲があり、料金や機能は各サービスの公式情報で確認してください。

  • ChatGPT:答えを複数出して並べる作業に向く
  • Poe:選ばせる工程だけ別のモデルに任せられる



関連ガイド

同じ時期に公開した実務ガイドと、用語の定義ページです。手順の前提が分からない場合は、用語ページから確認してください。コピーして使える依頼文が欲しいときは、プロンプト集も参照してください。

メールマガジン

最新のAI情報をメールで受け取る

新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。

ご登録後、確認メールをお送りします。配信停止はいつでも可能です。

週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo