10 件の文書で、登録→検索→評価の流れを体験します。RAG 全体のうち「検索部分」だけを切り出して検証するのが目的です。
1 つのテーマの文書だけを集めます。
見出し単位で 300〜800 字に分け、文書名・見出しをメタデータにします。
選んだモデルでベクトル化し、データベースに登録します。
各質問に正解チャンクを決めておき、上位 3 件に含まれるかを確認します。
「表現が違いすぎる」「粒度が合わない」「ノイズが上位」などに分けます。
上位件数 K や類似度の下限を変えて、変化を記録します。
ベクトルデータベース の定義・仕組み・出典・プロンプト集はこちら。