手元の資料 10〜20 件で、検索→生成の流れを一通り体験します。専用サービスでも自作でも同じ考え方で組み立てられます。
まずは分野を 1 つに限定します(例:就業規則のみ)。混在させると検索精度の切り分けができません。
見出し単位で 300〜800 字程度に分けます。表は行の意味が壊れないように扱います。
各チャンクをベクトル化してデータベースに保存します。文書名・見出し・更新日もメタデータとして持たせます。
質問を 10 個用意し、正解チャンクが上位 3 件に入るかを確認します。ここで外れるなら、生成側を触っても改善しません。
「資料の範囲で答える」「不明なら不明と言う」「出典を添える」の3 条件を必ず入れたプロンプトを用意します。
実際に試した質問と誤答を表にまとめ、チャンク分割か検索方法のどちらを直すかを決めます。