いくつか例を渡して分類させる形は便利ですが、例の数と並び順が結果を偏らせます。Learn Promptingの解説は、例の配分をそろえる、順番を混ぜる、偏らないよう明示する、という3つの調整を挙げています。特別な仕組みは要らず、依頼文の書き方だけで試せます。

手順1:例の数を種類ごとに数える
依頼文に含めた例を、答えの種類ごとに数えます。感情の判定なら、肯定の例と否定の例がそれぞれ何件あるかを書き出します。3対1のように偏っていれば、モデルは多い側を選びやすくなります。
数えた結果は、依頼文の外に控えておきます。後で比べるときに、何を変えたのかが分かります。
手順2:数をそろえる
多い側を削るか、少ない側を足して、数を同じにします。解説は、4件の例なら肯定2件と否定2件にする形を示しています。例を足す場合は、言い回しの傾向が偏らないように選びます。
| 状態 | 例の配分 | 起きやすいこと |
|---|---|---|
| 偏っている | 肯定3件・否定1件 | 肯定と答える割合が上がる |
| そろっている | 肯定2件・否定2件 | 内容に応じて答えが分かれる |
| 順番も混ぜた | 肯定と否定を交互に置く | 並びの影響を受けにくくなる |
例の文面そのものが偏っている場合もあります。丁寧な言い回しばかりを肯定の例にすると、丁寧さを肯定の手がかりとして拾います。
手順3:順番を混ぜる
肯定の例を先に並べ、否定の例を後に置くと、並びそのものが手がかりになります。解説は、種類を交互に置く並べ方が、先にまとめる並べ方より良い結果になる例を示しています。
例を増やすたびに並びを変えると、比較の条件が崩れます。並びを変えるのは、他の条件を固定したときだけにします。
手順4:偏らないよう明示する一文を入れる
依頼文の冒頭に、属性で決めつけないという指示を1文で置きます。解説は、属性が分からない場合は推測せず、分からないという選択肢を選ぶよう指示する文を紹介しています。
この一文は、例の調整の代わりではありません。例の配分と順番を直したうえで加えると、指示が効きやすくなります。
手順5:同じ入力で、変える前と後を比べる
調整の前後で、同じ入力に対する答えを並べます。判定が変わった件だけを取り出し、変わった理由を例の配分か順番かで説明できるかを確かめます。説明できない変化が多ければ、条件を1つに絞って試し直します。
比べる件数は、20件程度から始めると傾向が見えます。判定の基準そのものを整える考え方はアルゴリズムバイアスのページで扱っています。
FAQ
Q. 例の数は多いほうがよいですか。
A. Learn Promptingの解説は、数そのものより配分を問題にしています。陽性3件と陰性1件のように偏っていると、モデルは多い側を選びやすくなります。数は同じにして、両方の例を入れます。
Q. 明示の一文を入れれば、偏りはなくなりますか。
A. 解説は、明示の指示を3つの調整の1つとして挙げています。例の配分と順番を直したうえで加える位置づけで、一文だけで偏りが消えるとは述べていません。
あわせて使いたいツール
依頼文の調整は、ふだん使っているチャットの画面で試せます。料金と提供条件は各サービスの公式情報で確認してください。
出典
出典:Learn Prompting「プロンプトの偏り除去:LLMの出力を公平で偏りのないものにする」(2024年8月7日更新、Sander Schulhoff著)。例の配分と順番の影響、属性で決めつけないための明示の指示、3つの調整の組み合わせは同ページの記載に基づきます。同ページが参照する研究として Si ほか「Prompting GPT-3 To Be Reliable」(2022年)があります。
関連ガイド
- 出力の偏りを確率の形で見る5ステップ
- 用語:プロンプトエンジニアリング
- 用語:少数例学習(Few-Shot Learning)
- LLMに自分の出力を評価させる5ステップ
- AIでブログ記事の下書きを作る5ステップ
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。
