社内文書を検索して答えさせる仕組みでは、関連度が高い文書が正しいとは限りません。古い規程や下書きが上位に来ると、そのまま答えに混ざります。Learn Prompting が紹介する RA-RAG は、情報源の信頼度を見積もってから集約する枠組みです。ここでは、その手順を運用に落とす形で5つに分けます。
ステップ1：情報源を一覧にする
対象になる文書群を、発行元と更新日の単位で並べます。Learn Prompting は、従来の RAG が問いと文書の関連度だけを見るため、信頼できない情報源の影響を受けやすいと指摘しています。一覧にすると、同じ話題について複数の版が混ざっていることが見えてきます。版が混ざったままでは、後の手順が意味を持ちません。
ステップ2：事実確認の問いで横断的に照合する
各情報源について、確認用の問いを立てて答え合わせをします。Learn Prompting の説明では、事実確認の問いを使って情報源を評価し、他の情報源と突き合わせて信頼度の点を付けます。手元では、規程の数値や日付のように検証できる項目を選ぶと、判定がぶれません。照合の結果は、情報源ごとに1行で残します。
ステップ3：信頼度の点を付ける
照合の結果を、情報源ごとの点にまとめます。Learn Prompting は、この点を情報源の信頼度として扱い、関連度と合わせて使うと説明しています。点の付け方は、発行元の位置づけ、更新の新しさ、他の情報源との一致という3つ程度の観点に絞ると、説明できる形になります。観点を増やすほど、付け手の裁量が入り込みます。
ステップ4：上位の数件だけを取り出す
検索の結果から、関連度と信頼度の両方で上位の数件だけを残します。Learn Prompting は、信頼度の高い上位k件に絞って取り出す方法を示しています。件数を絞ると、古い版や下書きが材料に混ざる確率が下がります。絞りすぎて材料が足りなくなったら、件数ではなく信頼度の下限を下げて調整します。
ステップ5：重み付きで集約し、ずれを弾く
集約の段では、残した材料を重み付きの多数決でまとめます。Learn Prompting は、単純な多数決ではなく、信頼度で重みを付けた集約と、ずれた応答を弾く仕組みを組み合わせると説明しています。手元で回すなら、答えの根拠になった文書を必ず併記させ、根拠が弱い答えは採用しない運用にします。判定の考え方はLLM による評価の頁と重なります。
FAQ
Q. 信頼度は誰が決めるのですか？
A. 最終的には運用する側が決めます。RA-RAG は事実確認の問いによる照合を手がかりにしますが、観点と重みの設計は人が置く必要があります。
Q. 小規模な社内検索でも効果はありますか？
A. 文書の版が複数ある環境では意味があります。逆に、情報源が1つしかない場合は、信頼度の見積もりはほとんど働きません。
あわせて使いたいツール
本記事の手順を実際に回すときに、候補になるツールを挙げます。いずれも無料から試せる範囲があり、料金や機能は各サービスの公式情報で確認してください。
関連ガイド
同じ時期に公開した実務ガイドと、手順の前提になる用語ページです。コピーして使える依頼文が欲しいときは、プロンプト集も参照してください。
- 候補を検証役で重み付けする：DiVeRSe の5ステップ
- 出来事を物語の順に並べる：Narrative-of-Thought の5ステップ
- リランキング（用語辞典）
- プロンプト集（そのまま使える依頼文）
- AI用語辞典（五十音順の一覧）
- はじめての LLM 活用（学習ルート）
- ガイド一覧
- AIツール一覧（道具から探す）
- 比較記事一覧／レビュー一覧
出典
出典：Learn Prompting「RA-RAG：情報源の信頼度を考慮する検索拡張生成」（原題 Reliability-Aware RAG (RA-RAG)、2025年3月2日更新）。
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。