
質問を渡して、検索が必要かを先に判定させるプロンプトです。取ってきた文書の関連度と、答えの根拠の有無まで点検させる流れをまとめます。
検索を毎回走らせると、要らない資料まで答えに混ざります。この見本は、質問を渡して「検索が必要か」を先に判定させ、その後に文書の関連度と答えの根拠を点検させるためのプロンプトです。
次の文をそのままコピーし、質問を差し替えて使います。
あなたは社内の問い合わせ窓口の担当者です。以下の質問に答えるために、社内資料を検索する必要があるかを判定してください。
・判定は「検索が必要」「検索は不要」の2つから選んでください。
・判定の理由を1行で書いてください。理由には、判断の根拠になった語を必ず含めてください。
・この段階では答えを書かないでください。質問:
(ここに質問を貼る)
検索した後に使います。文書は1件ずつ渡し、まとめて判定させません。
以下の質問と資料を読み、資料が質問に使えるかを判定してください。
・判定は「使える」「使えない」「判断できない」の3つから選んでください。
・判定の理由は、資料の中の該当箇所を引用して書いてください。
・資料に書かれていない条件については、書かれていないと明記してください。質問:(ここに質問を貼る)
資料:(ここに資料を貼る)
答えを書かせた後に、同じやり取りの中で続けて使います。
直前の答えについて、文ごとに根拠を確認してください。
・各文に番号を振り、根拠が資料にあるかどうかを「あり」「なし」で示してください。
・「なし」の文は、削除する案と、確認が必要と明記する案の両方を出してください。
・新しい事実を追加しないでください。
3つの見本は、順番に使う前提で作っています。判定を先に出すと、答えの見当に引かれずに済みます。関連度を文書ごとに付けると、混ざった資料を切り分けられます。
判定の結果は、質問と一緒に残します。同じ判定が続く場合は、依頼文の条件を1行足して比べます。判定の作り方はSelf-RAGで「検索すべきか」をモデルに判断させる5ステップで扱っています。
1つの依頼文に、判定と回答の両方を入れます。この形にすると、判定が答えに合わせて甘くなります。工程を分けるだけで、判定の性格が変わります。
もう1つは、関連度の判定をまとめて頼むことです。3件をまとめて渡すと、1件ずつ見た場合と結果が変わります。
出典:Learn Prompting「Self-RAG(自己省察型の検索拡張生成)」(最終更新2025年3月2日、Valeriia Kuka著)。検索の要否・取得文書の関連度・出力の根拠と有用性という3種類の判定を、依頼文の形に組み替えて構成しました。
検索結果を3段階で評価する練習ドリル>
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →