
検索して取ってきた文書を、信頼・不信・曖昧の3段階で評価する練習です。20分で1周でき、判定のぶれを記録する方法までをまとめます。
検索して取ってきた文書を、そのまま答えの材料にしていませんか。この練習は、1つの質問と3つの文書を題材に、信頼できるかどうかを3段階で判定し、判定の理由を言葉にする訓練です。1周20分ほどで終わります。
質問を1つ、その質問に対して検索で取ってきた文書を3つ用意します。うち1つは正しく、1つは古い版、1つは似た別の製品について書かれたものにします。正解を照合できる公式の資料も手元に置きます。
文書は長い必要はありません。見出しと本文が3段落ほどあれば、判定の練習になります。
質問を、はい・いいえで答えられない1文にします。条件を1つ含めると、判定の基準がはっきりします。「この製品は法人向けの契約で何名まで使えるか」という形です。
質問を途中で変えると、判定の比較ができなくなります。練習の間は動かさないことが前提です。
3つの文書を1件ずつ読み、信頼できる、信頼できない、どちらとも言えない、の3つから選びます。2択にしないのは、迷ったときに無理に寄せると判定の理由が消えるためです。
判定と一緒に、根拠になった箇所を1行写します。写した箇所が判定と合っていないことが、この練習で最も多く見つかる誤りです。
「古い」「関係ない」ではなく、どの条件が合わないのかを書きます。「改定前の版で、上限の人数が現行と異なる」「同名の別製品で、対象が個人向け」という形です。条件の言葉で書くと、後から基準に変えられます。
| 判定 | 理由の書き方の例 | 次の扱い |
|---|---|---|
| 信頼できる | 現行版で、質問の条件と一致する | 必要部分だけ使う |
| 信頼できない | 改定前の版で、数値が現行と違う | 捨てて検索し直す |
| どちらとも言えない | 対象は合うが、条件の記載がない | 別の資料と突き合わせる |
同じ3つの文書を、別の人が判定します。判定が分かれた文書について、どちらの理由が基準として適切かを話します。分かれた原因は、たいてい判定の基準が言葉になっていない部分にあります。
1人で練習する場合は、日を空けて同じ題材をやり直します。前回の判定を見ずに付けると、自分のぶれが分かります。
話し合いで決まった基準を、1行ずつ書き足します。「改定日が質問の時点より前の資料は信頼できない側に置く」という形です。基準が5行を超えたら、質問の側を分けたほうが扱いやすくなります。
作った基準は、実際の検索の判定に使えます。判定を仕組みに組み込む手順はCorrective RAGで検索結果の信頼度を3段階に分ける5ステップで扱っています。
正しそうに見える文書ほど、判定が甘くなります。体裁が整っていることと、質問に合っていることは別です。判定の前に、質問の条件を声に出して読み直すと、体裁に引かれにくくなります。
出典:Learn Prompting「Corrective RAG(検索結果を評価して補正する検索拡張生成)」(最終更新2025年3月2日、Valeriia Kuka著)。取得文書を3段階に分け、判定に応じて扱いを変える考え方を、練習用の手順に組み替えて構成しました。
検索の要否と根拠を判定させるプロンプト見本>
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →