同じ文章を何度か判定させると、結果が変わることがあります。1回の答えを信じるか、何度か聞いて多数決を取るか。後者を選ぶと安定しますが、回数を増やすほど手間も増えます。どこで線を引くかを先に決めておくと、判断がぶれません。
多数決が効くのは「選択肢が閉じている」とき
自己整合性は、同じ質問を複数回投げ、最も多く出た答えを採用する手法です。効果が出るのは、答えが選択肢のどれかに決まる場合です。分類、真偽の判定、該当する項目の選択が該当します。
自由記述の要約には向きません。文章は毎回変わるので、多数決の取りようがありません。要約の安定を図りたいなら、項目の有無を判定させ、その結果を多数決する形に分解します。
手順1：選択肢を2〜4個に固定する
選択肢が多いほど、票が割れます。5個以上あるなら、判定を2段階に分けてください。まず大分類を選ばせ、次に中分類を選ばせる。段ごとに多数決を取ると、集計が単純になります。
手順2：判断の手順を書かせる
答えだけを返させると、根拠が分かりません。判定の理由を1〜2行書かせたうえで、最後に分類名を1つだけ書かせます。理由を書かせることで、途中の判断が安定しやすくなります。
この形は、判断を段階に分けて書かせるChain-of-Thoughtの考え方と重なります。使う文面はプロンプト集の型を流用できます。理由の文章は長くなりがちなので、「2行まで」と指定してください。
手順3：回数を3回か5回に決める
回数は奇数にします。3回なら2対1で決まり、5回なら3対2です。偶数だと同数で割れたときに、決め直しの作業が発生します。
3回で足りるか、5回必要なのかは、対象の難しさで変わります。まず3回で試し、割れる件数が多ければ5回に増やします。
手順4：割れた案件の扱いを先に決める
| 結果 | 扱い | 理由 |
|---|---|---|
| 3回とも同じ | そのまま採用 | 判断が安定している |
| 2対1 | 多数を採用し、記録に残す | 後から傾向を確認できる |
| 3回とも違う | 人に回す | 選択肢の定義が曖昧な可能性 |
3回とも違う結果になった案件は、そのまま捨てないでください。選択肢の定義が足りていない証拠になります。10件集めると、定義のどこが曖昧か見えます。
手順5：回数と精度の関係を1回だけ測る
過去の実データ20件を使い、1回だけ判定した場合と、3回の多数決をした場合で、人が見て正しいと判断できる件数を比べます。回数を増やす価値があるかは、この比較で決まります。
測らずに回数だけ増やすと、手間と費用だけが増えて、精度は変わらないという結果になりがちです。
よくあるつまずき
同じプロンプトを送っているつもりで、日付や乱数が混ざっていることがあります。テンプレートに日付を入れていると、毎回の入力が変わり、多数決の意味が薄れます。判定に不要な要素は外してください。
もうひとつは、多数決の結果だけを保存して、個別の判定を捨ててしまうことです。後から検証できないため、割れた案件の傾向を追えなくなります。
FAQ
Q. 回数を増やせば必ず精度が上がりますか？
A. 上がらない場合があります。判定が毎回同じように外れるなら、多数決しても同じ結果です。まず1回の判定がどこで外れるかを見てください。外れ方に規則性があれば、プロンプトの側を直すほうが効果的です。
Q. 費用はどのくらい増えますか？
A. 回数に比例して増えます。3回にすれば、単純に回数分の実行になります。対象を絞るのが現実的です。全件を3回にするのではなく、判断が割れやすい種類の案件だけ回数を増やしてください。
出典
出典：Learn Prompting「Self-Consistency」（2024年8月7日更新）
あわせて使いたいツール
本記事の手順を実際に回すときに、候補になるツールを挙げます。いずれも無料から試せる範囲があり、料金や機能は各サービスの公式情報で確認してください。
関連ガイド
同じ時期に公開した実務ガイドと、用語の定義ページです。手順の前提が分からない場合は、用語ページから確認してください。
編集部の見解
多数決は、判断を安定させる道具であって、正しさを保証する道具ではありません。全員が同じ理由で間違えることもあります。導入するなら、割れた案件を捨てずに残すことです。そこに、選択肢の定義の穴が溜まります。安定させることより、外れ方を見える形にしておくことのほうが、長い目で見て効きます。
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。