Corrective RAGで検索結果の信頼度を3段階に分ける5ステップ

best

UXリサーチャー/AIツール評価
Corrective RAGで検索結果の信頼度を3段階に分ける5ステップ

検索して取ってきた文書が質問とずれていると、そのずれがそのまま答えの誤りになります。検索拡張生成は、参照が外れたときに弱い仕組みです。Corrective RAGは、取ってきた文書をまず評価し、評価に応じて処理を変える考え方です。

Corrective RAGで検索結果の信頼度を3段階に分ける5ステップのポイント

手順1:検索が外れる場面を集める

自社の質問ログから、答えがずれた例を10件ほど集めます。型番の表記ゆれ、古い版の資料、似た名前の別製品が、よくある原因です。原因の種類ごとに1件ずつあると、対策の効き目を比べやすくなります。

集めた例は、そのまま判定の試験台になります。修正のたびに同じ例で確かめれば、別の例が壊れていないかも分かります。

手順2:取得した文書に信頼度を付ける

検索の結果を、質問に対して信頼できるかで3段階に分けます。信頼できる、信頼できない、どちらとも言えない、の3つです。2段階にすると、判断に迷う文書がどちらかに寄せられ、誤りが増えます。

Learn Promptingの解説では、この評価を軽量な評価器が担います。生成側のモデルを変えずに済む点が、導入のしやすさにつながります。評価の基準は、質問と文書の組を並べて人が付けた見本から作ります。

判定 扱い 起きやすい副作用
信頼できる 不要な部分を削って使う 削りすぎて条件が抜ける
信頼できない 捨てて検索し直す 検索し直しても同じ結果になる
どちらとも言えない 社内の結果とウェブ検索を混ぜる 混ぜた分だけ根拠が曖昧になる

手順3:信頼できる場合の削り方を決める

信頼できると判定された文書も、そのまま渡すと余計な記述が混ざります。解説は、文書を小さな単位に分け、質問に関係する部分だけを残す処理を挙げています。見出しや箇条書きの単位で切ると、意味が壊れにくくなります。

削る処理は、条件の記述を落としやすい部分です。数値の前提、適用範囲、例外は残す対象として明示しておきます。

手順4:検索し直す条件と、混ぜる条件を書く

信頼できない場合は、その結果を捨てて検索し直します。社内に無い情報なら、外部の検索を使います。どちらとも言えない場合は、両方を材料にして答えさせます。3つの分岐を、条件として文章にしておきます。

分岐が増えると、どこで止まったのかを追いにくくなります。実行の記録に、どの分岐に入ったかを残します。関連する考え方はSelf-RAGで検索の要否を判断させる5ステップで扱っています。

手順5:修正の前後を同じ例で比べる

手順1で集めた例に戻り、修正の前後で答えを比べます。直った例と、悪くなった例の両方を数えます。片方だけを見ると、判定を厳しくしすぎたことに気づけません。

比べた結果は、判定の基準を直す材料になります。基準を変えたら、また同じ例で確かめます。この往復がないまま基準を増やすと、理由の分からない差異が積み上がります。検索の分割単位はチャンキングのページが参考になります。

FAQ

Q. 3段階の判定は何で行いますか。

A. Learn Promptingの解説では、取得文書の質を採点する軽量な評価器を用い、信頼・不信・曖昧の3段階に分けると説明しています。評価器は生成側のモデルとは別に置けるため、既存の生成の仕組みをそのまま使えます。

Q. 曖昧と判定された場合はどう扱いますか。

A. 解説は、絞り込んだ検索結果とウェブ検索の結果を混ぜる扱いを挙げています。どちらかに決め切らず、両方を材料にすることで、判断を誤ったときの偏りを小さくする狙いです。

あわせて使いたいツール

評価器と検索基盤を分けて置くと、判定の基準だけを差し替えられます。料金と提供条件は各サービスの公式情報で確認してください。

  • LangChain:検索・評価・生成の工程をつなげられる
  • Pinecone:社内文書の検索基盤として使える
  • Perplexity:外部の検索を併用する場面で使える

出典

出典:Learn Prompting「Corrective RAG(検索結果を評価して補正する検索拡張生成)」(最終更新2025年3月2日、Valeriia Kuka著)。軽量な評価器による3段階の判定、不要部分の削除、ウェブ検索による置き換え、両者の混合という扱いは同ページの記載に基づきます。

関連ガイド

基礎から順に学びたい場合は、チュートリアルと依頼文の見本を用意しています。

チュートリアル一覧を開く →

プロンプト集(シーン別)を見る →



メールマガジン

最新のAI情報をメールで受け取る

新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。

ご登録後、確認メールをお送りします。配信停止はいつでも可能です。

週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo