プロンプトの偏りを減らす5ステップ

best

UXリサーチャー/AIツール評価
プロンプトの偏りを減らす5ステップ

いくつか例を渡して分類させる形は便利ですが、例の数と並び順が結果を偏らせます。Learn Promptingの解説は、例の配分をそろえる、順番を混ぜる、偏らないよう明示する、という3つの調整を挙げています。特別な仕組みは要らず、依頼文の書き方だけで試せます。

プロンプトの偏りを減らす5ステップのポイント

手順1:例の数を種類ごとに数える

依頼文に含めた例を、答えの種類ごとに数えます。感情の判定なら、肯定の例と否定の例がそれぞれ何件あるかを書き出します。3対1のように偏っていれば、モデルは多い側を選びやすくなります。

数えた結果は、依頼文の外に控えておきます。後で比べるときに、何を変えたのかが分かります。

手順2:数をそろえる

多い側を削るか、少ない側を足して、数を同じにします。解説は、4件の例なら肯定2件と否定2件にする形を示しています。例を足す場合は、言い回しの傾向が偏らないように選びます。

状態 例の配分 起きやすいこと
偏っている 肯定3件・否定1件 肯定と答える割合が上がる
そろっている 肯定2件・否定2件 内容に応じて答えが分かれる
順番も混ぜた 肯定と否定を交互に置く 並びの影響を受けにくくなる

例の文面そのものが偏っている場合もあります。丁寧な言い回しばかりを肯定の例にすると、丁寧さを肯定の手がかりとして拾います。

手順3:順番を混ぜる

肯定の例を先に並べ、否定の例を後に置くと、並びそのものが手がかりになります。解説は、種類を交互に置く並べ方が、先にまとめる並べ方より良い結果になる例を示しています。

例を増やすたびに並びを変えると、比較の条件が崩れます。並びを変えるのは、他の条件を固定したときだけにします。

手順4:偏らないよう明示する一文を入れる

依頼文の冒頭に、属性で決めつけないという指示を1文で置きます。解説は、属性が分からない場合は推測せず、分からないという選択肢を選ぶよう指示する文を紹介しています。

この一文は、例の調整の代わりではありません。例の配分と順番を直したうえで加えると、指示が効きやすくなります。

手順5:同じ入力で、変える前と後を比べる

調整の前後で、同じ入力に対する答えを並べます。判定が変わった件だけを取り出し、変わった理由を例の配分か順番かで説明できるかを確かめます。説明できない変化が多ければ、条件を1つに絞って試し直します。

比べる件数は、20件程度から始めると傾向が見えます。判定の基準そのものを整える考え方はアルゴリズムバイアスのページで扱っています。

FAQ

Q. 例の数は多いほうがよいですか。

A. Learn Promptingの解説は、数そのものより配分を問題にしています。陽性3件と陰性1件のように偏っていると、モデルは多い側を選びやすくなります。数は同じにして、両方の例を入れます。

Q. 明示の一文を入れれば、偏りはなくなりますか。

A. 解説は、明示の指示を3つの調整の1つとして挙げています。例の配分と順番を直したうえで加える位置づけで、一文だけで偏りが消えるとは述べていません。

あわせて使いたいツール

依頼文の調整は、ふだん使っているチャットの画面で試せます。料金と提供条件は各サービスの公式情報で確認してください。

  • ChatGPT:例を差し替えて比べる試行に使える
  • Claude:長い例文を渡す場合の比較に使える

出典

出典:Learn Prompting「プロンプトの偏り除去:LLMの出力を公平で偏りのないものにする」(2024年8月7日更新、Sander Schulhoff著)。例の配分と順番の影響、属性で決めつけないための明示の指示、3つの調整の組み合わせは同ページの記載に基づきます。同ページが参照する研究として Si ほか「Prompting GPT-3 To Be Reliable」(2022年)があります。

関連ガイド

基礎から順に学びたい場合は、チュートリアルと依頼文の見本を用意しています。

チュートリアル一覧を開く →

プロンプト集(シーン別)を見る →



メールマガジン

最新のAI情報をメールで受け取る

新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。

ご登録後、確認メールをお送りします。配信停止はいつでも可能です。

週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo