TUTORIAL

検索結果を3段階で評価する練習ドリル

  • 最終更新: 2026年11月20日
my-best.ai 編集部

my-best.ai 編集部

AIツール比較・レビュー編集チーム
検索結果を3段階で評価する練習ドリル

検索して取ってきた文書を、信頼・不信・曖昧の3段階で評価する練習です。20分で1周でき、判定のぶれを記録する方法までをまとめます。

検索して取ってきた文書を、そのまま答えの材料にしていませんか。この練習は、1つの質問と3つの文書を題材に、信頼できるかどうかを3段階で判定し、判定の理由を言葉にする訓練です。1周20分ほどで終わります。

用意するもの

質問を1つ、その質問に対して検索で取ってきた文書を3つ用意します。うち1つは正しく、1つは古い版、1つは似た別の製品について書かれたものにします。正解を照合できる公式の資料も手元に置きます。

文書は長い必要はありません。見出しと本文が3段落ほどあれば、判定の練習になります。

手順1:質問を1文に固定する

質問を、はい・いいえで答えられない1文にします。条件を1つ含めると、判定の基準がはっきりします。「この製品は法人向けの契約で何名まで使えるか」という形です。

質問を途中で変えると、判定の比較ができなくなります。練習の間は動かさないことが前提です。

手順2:文書ごとに3段階で判定する

3つの文書を1件ずつ読み、信頼できる、信頼できない、どちらとも言えない、の3つから選びます。2択にしないのは、迷ったときに無理に寄せると判定の理由が消えるためです。

判定と一緒に、根拠になった箇所を1行写します。写した箇所が判定と合っていないことが、この練習で最も多く見つかる誤りです。

手順3:判定の理由を、条件の言葉で書く

「古い」「関係ない」ではなく、どの条件が合わないのかを書きます。「改定前の版で、上限の人数が現行と異なる」「同名の別製品で、対象が個人向け」という形です。条件の言葉で書くと、後から基準に変えられます。

判定 理由の書き方の例 次の扱い
信頼できる 現行版で、質問の条件と一致する 必要部分だけ使う
信頼できない 改定前の版で、数値が現行と違う 捨てて検索し直す
どちらとも言えない 対象は合うが、条件の記載がない 別の資料と突き合わせる

手順4:別の人が同じ題材で判定する

同じ3つの文書を、別の人が判定します。判定が分かれた文書について、どちらの理由が基準として適切かを話します。分かれた原因は、たいてい判定の基準が言葉になっていない部分にあります。

1人で練習する場合は、日を空けて同じ題材をやり直します。前回の判定を見ずに付けると、自分のぶれが分かります。

手順5:分かれた判定を、基準の1行にする

話し合いで決まった基準を、1行ずつ書き足します。「改定日が質問の時点より前の資料は信頼できない側に置く」という形です。基準が5行を超えたら、質問の側を分けたほうが扱いやすくなります。

作った基準は、実際の検索の判定に使えます。判定を仕組みに組み込む手順はCorrective RAGで検索結果の信頼度を3段階に分ける5ステップで扱っています。

つまずきやすい点

正しそうに見える文書ほど、判定が甘くなります。体裁が整っていることと、質問に合っていることは別です。判定の前に、質問の条件を声に出して読み直すと、体裁に引かれにくくなります。

出典

出典:Learn Prompting「Corrective RAG(検索結果を評価して補正する検索拡張生成)」(最終更新2025年3月2日、Valeriia Kuka著)。取得文書を3段階に分け、判定に応じて扱いを変える考え方を、練習用の手順に組み替えて構成しました。

練習の前後に、次の2つのページを開いておくと流れが追いやすくなります。

チュートリアル一覧を開く →

プロンプト集(シーン別)を見る →

検索の要否と根拠を判定させるプロンプト見本

>

関連する用語

関連するチュートリアル

関連プロンプト

関連ツール

本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。

編集部の評価方法論を見る →
週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo