検索拡張生成は、質問が来るたびに決まった件数の文書を取りに行きます。挨拶や言い換えの依頼にも検索が走り、無関係な断片が答えに混ざります。Self-RAGは、検索そのものをモデルに判断させ、取ってきた文書と自分の答えを自分で点検させる考え方です。

手順1:検索が要る質問を書き出して分ける
自社の窓口に届く質問を、20件ほど書き出します。社内規程の数値のように資料を見ないと答えられないものと、文章の整形のように資料が不要なものに分けます。分けた結果が、判定の正解データの代わりになります。
この一覧がないまま判定を導入すると、検索を省きすぎたのか、しすぎたのかを判断できません。件数は20件で足ります。判断の傾向を見るには、偏りのない20件のほうが、大量の偏った記録より役に立ちます。
手順2:検索の要否を最初に判定させる
質問を渡す前に、資料を参照しないと答えられないかを判定させます。判定の材料は質問文だけに絞ります。答えの見当を先に書かせると、その見当に引きずられて判定が甘くなります。
Learn Promptingの解説では、この判定に専用のトークンを用います。依頼文で近似する場合は、「検索が必要」「不要」の2択と、その理由を1行で出させます。理由の書き方が毎回同じなら、判定のぶれも小さくなります。
手順3:取ってきた文書ごとに関連度を付ける
検索した場合は、取ってきた文書を1件ずつ見て、質問に関係するかを判定させます。まとめて「関連する」と判断させると、混ざった文書の切り分けができません。文書ごとに印を付ける形にします。
| 判定 | 見る対象 | 落ちたときに直す場所 |
|---|---|---|
| 検索の要否 | 質問文 | 判定の条件、質問の書き方 |
| 関連度 | 取得した文書 | 検索の条件、分割の単位 |
| 根拠の有無 | 答えの各文 | 答えの作り方、参照の指示 |
| 有用性 | 答え全体 | 出力の形式、長さの指定 |
手順4:答えの各文に根拠があるかを点検させる
答えを書かせた後に、文ごとに参照した文書で裏が取れるかを判定させます。取れない文は削るか、確認が必要と明示します。この工程を入れると、もっともらしいが根拠のない文が残りにくくなります。
点検は答えを書かせた直後に行います。別のやり取りに分けると、前の文脈が薄れて判定が変わります。関連する用語はハルシネーションのページで扱っています。
手順5:判定を記録し、閾値を決める
4種類の判定を、質問と一緒に記録します。件数がたまると、どの判定で誤りが多いかが見えます。関連度の判定が厳しすぎて参照が落ちているのか、根拠の判定が甘いのかで、直す場所は変わります。
記録がないまま閾値を動かすと、良くなったのか悪くなったのかを説明できません。判定を変えた日付も残しておくと、後から比較できます。検索結果の扱いを変える方法はCorrective RAGで検索結果を3段階に分ける5ステップで扱っています。
FAQ
Q. 専用の学習をしないと使えない手法ですか。
A. Learn Promptingの解説は、検索の要否、取得文書の関連度、出力の根拠と有用性を判定する特別なトークンを用いる手法として説明しています。この判定を依頼文で近似することはできますが、判定のぶれは大きくなるため、記録して確かめる必要があります。
Q. 検索しなかった場合の誤りはどう見つけますか。
A. 検索の要否を「不要」と判定した記録を残し、その一部を抜き取って人が確かめる運用が現実的です。判定の誤りは、答えの誤りとして現れるまで気づきにくいためです。
あわせて使いたいツール
判定の工程は、依頼文と外部の検索を組み合わせて作れます。料金と提供条件は各サービスの公式情報で確認してください。
出典
出典:Learn Prompting「Self-RAG(自己省察型の検索拡張生成)」(最終更新2025年3月2日、Valeriia Kuka著)。検索の要否の判定、取得文書の関連度の評価、根拠と有用性による自己批判という3段階の説明は同ページの記載に基づきます。原論文はAsaiほか「Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection」(2023年)。
関連ガイド
- Corrective RAGで検索結果の信頼度を3段階に分ける5ステップ
- FLAREで生成の途中に必要な箇所だけ検索させる4ステップ
- 用語:RAG(検索拡張生成)
- 用語:グラフRAG(GraphRAG)
- 検索結果を3段階で評価する練習ドリル
- 検索の要否と根拠を判定させるプロンプト見本
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。
