
1つの依頼文を、条件・例示・語調の3通りに書き換えて同じ入力で比べる練習です。差が出た理由を言葉にするまでを30分で行います。
依頼文を変えたのに、出力が良くなったのか悪くなったのか分からない。そんなときは、変える条件を1つに絞って比べるのが確実です。この練習は、1つの依頼文を3通りに書き換え、同じ入力で出力を並べて、差の理由を言葉にするまでを30分で行います。
題材になる入力を1つ用意します。社内の問い合わせ文、会議の記録、商品の説明文のいずれかが扱いやすい長さです。出力を保存する場所も先に決めておきます。
比べる観点は、次の3つに固定します。指示の通り方、必要な要素の充足、読みやすさです。
依頼文は、条件を箇条書きで3つから5つ書いた形にします。書き終えたら、同じ入力で1回だけ出力を取り、そのまま保存します。
保存しないまま書き換えると、比べる相手がなくなります。出力は日付と依頼文の版が分かる名前にしておきます。
2版目は、条件の数を増やすか減らすかだけを変えます。例示や語調には手を触れません。条件を増やすと、出力は長くなりがちですが、必要な要素は増えます。
変えた条件が1つだけなら、差が出た理由をその条件に結び付けられます。2つ以上変えると、どちらが効いたのか分からなくなります。
3版目は、例の数と並び順だけを変えます。例を2件から4件に増やす、肯定と否定の例を交互に並べる、といった変更です。解説が指摘するように、例の配分が偏っていると、モデルは多い側の答えを出しやすくなります。
| 版 | 変えるもの | 変えないもの |
|---|---|---|
| 1版目 | なし(基準) | すべて |
| 2版目 | 条件の数 | 例示、語調 |
| 3版目 | 例の数と並び | 条件、語調 |
3つの出力を横に並べ、指示の通り方、必要な要素の充足、読みやすさの順に見ます。判定は、良い・悪い・同じの3つから選びます。迷ったものは「同じ」に置きます。
並べる順番は毎回同じにします。先に読んだ出力の印象が、後の判定に影響するためです。
判定が分かれた項目について、理由を1行で書きます。「条件を増やした版だけ、確認の手順が入った」という形です。理由が書けない差は、偶然のぶれとして扱います。
同じ入力で2回ずつ試すと、偶然のぶれと変更の効果を切り分けられます。理由が再現したら、その条件を依頼文の型に残します。型として残す方法はプロンプトエンジニアリングのページで、例の配分の考え方はプロンプトの偏りを減らす5ステップで扱っています。
書き換えた版の出力が明らかに良くても、元の版より長いだけのことがあります。長さは観点に入れず、必要な要素が入っているかで判定します。長さで比べると、冗長な版が勝ってしまいます。
出典:Learn Prompting「プロンプトの偏り除去:LLMの出力を公平で偏りのないものにする」(2024年8月7日更新、Sander Schulhoff著)。例の数と並び順が出力を偏らせるという指摘を、比較の練習手順に組み替えて構成しました。
出力を自分で点検させるプロンプト見本>
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →