取り出した資料が外れたときの戻し方:CRAGの5手順

best

UXリサーチャー/AIツール評価
取り出した資料が外れたときの戻し方:CRAGの5手順

検索で取り出した文書が的外れなとき、そのままモデルに渡すと、間違いを補強する方向に働きます。Corrective RAG は、取り出しの品質を評価し、信頼度に応じて扱いを変える構成です。Learn Prompting は3段階の信頼度と、それぞれの動作を整理しています。

取り出した資料が外れたときの戻し方:CRAGの5手順のポイント

手順1:取り出しを評価する段を置く

検索の結果を、そのまま生成に渡す前の段で評価します。Learn Prompting は、軽量な評価の仕組みで文書の質を点数化する形を説明しています。評価の対象は、質問と文書の噛み合い方です。文書そのものの良し悪しではありません。評価を入れずに生成へ進むと、外れた根拠でも同じ扱いになります。

手順2:信頼度の3段と、それぞれの動作を決める

評価の結果を、高い・低い・どちらとも言えないの3段に分けます。高い場合は取り出した文書を使って整え、低い場合は捨てて別の手段で補い、中間の場合は両方を混ぜます。Learn Prompting は、この3段に対応する動作を表で整理しています。段の境目は数値で決めますが、その数値は自社のデータで調整します。

手順3:使う場合でも、一度細かく切って不要部分を落とす

信頼度が高くても、文書全体が役に立つとは限りません。文書を小さな単位に切り、質問に関係する部分だけを残します。Learn Prompting は、この細分化と取捨を知識の精錬として説明しています。長い文書を丸ごと渡すと、関係の薄い記述が答えに混ざります。

手順4:捨てた場合の補い方を決める

信頼度が低い場合、別の検索で補うか、答えを保留するかを決めます。補う場合は、元の質問をそのまま投げず、検索用の問いに書き換えてから投げます。書き換えの型を決めておくと、補いの質が安定します。社内文書だけで完結する業務では、外部の検索を使わず保留にする判断もあります。

手順5:判定と結果を記録して、境目を調整する

評価の点数、選んだ動作、最終的な答えの当たり外れを1行ずつ記録します。記録が溜まると、境目の数値をどこに置くのが妥当かが見えます。記録なしに調整すると、変更のたびに手探りになります。土台となる仕組みはRAGの頁で、文書の並べ替えはリランキングの頁で扱っています。

FAQ

Q. 評価の仕組みは何で作ればよいですか?

A. 論文では軽量な評価器を用いる構成が示されています。同じ形を作る場合は、質問と文書の組を数百件用意し、人手で付けた判定と突き合わせて調整します。用意できない場合は、別のモデルに判定させる形で代用します。

Q. 外部の検索が使えない環境ではどうしますか?

A. 補いの手段を、社内の別の索引や過去の回答に置き換えます。どの手段でも補えない場合は、答えを保留して人に回す段を用意します。保留を選べる設計にしておかないと、外れた根拠のまま答えが出ます。

出典

出典:Learn Prompting「Corrective RAG」(Valeriia Kuka、2025年3月2日更新)

あわせて使いたいツール

本記事の手順を実際に回すときに、候補になるツールを挙げます。いずれも無料から試せる範囲があり、料金や機能は各サービスの公式情報で確認してください。

  • n8n:評価と分岐の段を組むのに向く
  • Make:信頼度による分岐を図に近い形で組める

関連ガイド

同じ時期に公開した実務ガイドと、用語の定義ページです。手順の前提が分からない場合は、用語ページから確認してください。コピーして使える依頼文が欲しいときは、プロンプト集も参照してください。

編集部の見解

この設計で難しいのは、評価の精度より段の境目です。境目を厳しくすると保留が増え、窓口の滞留につながります。緩くすると外れた根拠が通ります。手順5の記録を2週間ほど貯めてから境目を動かす順番が、運用を止めずに調整できます。



メールマガジン

最新のAI情報をメールで受け取る

新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。

ご登録後、確認メールをお送りします。配信停止はいつでも可能です。

週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo