Self-RAGで「検索すべきか」をモデルに判断させる5ステップ

best

UXリサーチャー/AIツール評価
Self-RAGで「検索すべきか」をモデルに判断させる5ステップ

検索拡張生成は、質問が来るたびに決まった件数の文書を取りに行きます。挨拶や言い換えの依頼にも検索が走り、無関係な断片が答えに混ざります。Self-RAGは、検索そのものをモデルに判断させ、取ってきた文書と自分の答えを自分で点検させる考え方です。

Self-RAGで「検索すべきか」をモデルに判断させる5ステップのポイント

手順1:検索が要る質問を書き出して分ける

自社の窓口に届く質問を、20件ほど書き出します。社内規程の数値のように資料を見ないと答えられないものと、文章の整形のように資料が不要なものに分けます。分けた結果が、判定の正解データの代わりになります。

この一覧がないまま判定を導入すると、検索を省きすぎたのか、しすぎたのかを判断できません。件数は20件で足ります。判断の傾向を見るには、偏りのない20件のほうが、大量の偏った記録より役に立ちます。

手順2:検索の要否を最初に判定させる

質問を渡す前に、資料を参照しないと答えられないかを判定させます。判定の材料は質問文だけに絞ります。答えの見当を先に書かせると、その見当に引きずられて判定が甘くなります。

Learn Promptingの解説では、この判定に専用のトークンを用います。依頼文で近似する場合は、「検索が必要」「不要」の2択と、その理由を1行で出させます。理由の書き方が毎回同じなら、判定のぶれも小さくなります。

手順3:取ってきた文書ごとに関連度を付ける

検索した場合は、取ってきた文書を1件ずつ見て、質問に関係するかを判定させます。まとめて「関連する」と判断させると、混ざった文書の切り分けができません。文書ごとに印を付ける形にします。

判定 見る対象 落ちたときに直す場所
検索の要否 質問文 判定の条件、質問の書き方
関連度 取得した文書 検索の条件、分割の単位
根拠の有無 答えの各文 答えの作り方、参照の指示
有用性 答え全体 出力の形式、長さの指定

手順4:答えの各文に根拠があるかを点検させる

答えを書かせた後に、文ごとに参照した文書で裏が取れるかを判定させます。取れない文は削るか、確認が必要と明示します。この工程を入れると、もっともらしいが根拠のない文が残りにくくなります。

点検は答えを書かせた直後に行います。別のやり取りに分けると、前の文脈が薄れて判定が変わります。関連する用語はハルシネーションのページで扱っています。

手順5:判定を記録し、閾値を決める

4種類の判定を、質問と一緒に記録します。件数がたまると、どの判定で誤りが多いかが見えます。関連度の判定が厳しすぎて参照が落ちているのか、根拠の判定が甘いのかで、直す場所は変わります。

記録がないまま閾値を動かすと、良くなったのか悪くなったのかを説明できません。判定を変えた日付も残しておくと、後から比較できます。検索結果の扱いを変える方法はCorrective RAGで検索結果を3段階に分ける5ステップで扱っています。

FAQ

Q. 専用の学習をしないと使えない手法ですか。

A. Learn Promptingの解説は、検索の要否、取得文書の関連度、出力の根拠と有用性を判定する特別なトークンを用いる手法として説明しています。この判定を依頼文で近似することはできますが、判定のぶれは大きくなるため、記録して確かめる必要があります。

Q. 検索しなかった場合の誤りはどう見つけますか。

A. 検索の要否を「不要」と判定した記録を残し、その一部を抜き取って人が確かめる運用が現実的です。判定の誤りは、答えの誤りとして現れるまで気づきにくいためです。

あわせて使いたいツール

判定の工程は、依頼文と外部の検索を組み合わせて作れます。料金と提供条件は各サービスの公式情報で確認してください。

  • LangChain:検索と生成の間に判定の工程を挟める
  • Pinecone:参照する文書の検索基盤として使える
  • ChatGPT:判定の依頼文を試す用途に使える

出典

出典:Learn Prompting「Self-RAG(自己省察型の検索拡張生成)」(最終更新2025年3月2日、Valeriia Kuka著)。検索の要否の判定、取得文書の関連度の評価、根拠と有用性による自己批判という3段階の説明は同ページの記載に基づきます。原論文はAsaiほか「Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection」(2023年)。

関連ガイド

基礎から順に学びたい場合は、チュートリアルと依頼文の見本を用意しています。

チュートリアル一覧を開く →

プロンプト集(シーン別)を見る →



メールマガジン

最新のAI情報をメールで受け取る

新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。

ご登録後、確認メールをお送りします。配信停止はいつでも可能です。

週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo