社内文書を読ませれば、AIは何でも答えてくれる。そう考えて始めると、たいてい「探せていない」か「見つけた文書を読み違えている」かのどちらかでつまずきます。DeepLearning.AI の講座は、文書への質問を独立した回として扱い、その後に評価の回を置いています。
3つの層に分けて考える
文書に答える仕組みは、探す層、答える層、確かめる層に分かれます。探す層は、質問に近い文書を拾う部分。答える層は、拾った文書を根拠に文章を作る部分。確かめる層は、答えが根拠に沿っているかを見る部分です。講座の並びも、文書への質問の回のあとに評価の回が来ます。作る順番もこの順が自然です。
手順1：答えてほしい質問を、先に20個書く
文書を集める前に、質問を書きます。実際に社内で聞かれる質問を20個です。この20個が、あとで評価に使う試験問題になります。質問を書けない場合、その仕組みは誰も使わない可能性が高いです。
手順2：文書を、意味の切れ目で分ける
長い文書をそのまま渡すと、探す層が狙った箇所を拾えません。見出しや段落の切れ目で分けます。分けた断片には、どの文書のどの部分かを示す情報を付けておきます。これがないと、回答は出せても根拠を示せません。分割の考え方はRAGの項目で整理しています。
手順3：探す層を単独で試す
回答を作る前に、探す層だけを試します。20個の質問に対して、正解の断片が上位に入るかを数えます。ここが弱いまま答える層を作ると、原因の切り分けができなくなります。探す層の評価は、回答の出来とは別に測るのが要点です。
手順4：答える層に、根拠の提示を義務づける
回答には、参照した断片の番号を必ず付けさせます。根拠のない回答を許すと、それらしい文章が返ってきます。講座の評価の回は、出力を機械的に測る考え方を扱います。根拠の番号が付いていれば、正しさの確認も自動化しやすくなります。
手順5：20個の質問で、正解率と根拠の一致を分けて測る
答えの内容が正しいかと、根拠の番号が適切かは、別々に数えます。内容が正しくても根拠が違う場合、たまたま当たっただけかもしれません。逆に根拠が正しくても、回答の言い回しが誤っている場合もあります。2つの数字を並べると、直す場所が決まります。
手順6：更新の運用を決めてから公開する
文書は更新されます。更新されたら断片を作り直す、古い断片を消す、という運用を決めます。ここを決めずに公開すると、古い規程を根拠に答える状態が残ります。公開前に、更新の担当と頻度を1行で書いておいてください。
FAQ
Q. 文書が数千件あります。全部入れられますか？
A. 入れられますが、最初から全部を入れる必要はありません。質問20個に対して正解が含まれる範囲から始めると、評価が早く回せます。
Q. 回答が「見つかりません」ばかりになります。
A. 探す層が拾えていないか、断片が細かすぎるかのどちらかです。断片の長さを変えて、同じ20個で測り直してください。
出典
出典：DeepLearning.AI「LangChain for LLM Application Development」（Harrison Chase、Andrew Ng 講師、2025年10月14日更新、2026年10月23日参照）
あわせて使いたいツール
本記事の手順を実際に回すときに、候補になるツールを挙げます。いずれも無料から試せる範囲があり、料金や機能は各サービスの公式情報で確認してください。
関連ガイド
同じ時期に公開した実務ガイドと、用語の定義ページです。手順の前提が分からない場合は、用語ページから確認してください。コピーして使える依頼文が欲しいときは、プロンプト集も参照してください。
- リード管理の段階を決める：HubSpotの分類と採点の作り方
- メール配信をセグメントで分ける手順：件名より先に決めること
- RAG（検索拡張生成）（用語辞典）
- ガイド一覧（実務手順をまとめて読む）
- AIツール一覧（道具から探す）
- 比較記事一覧（料金と機能で比べる）
- レビュー一覧（使った記録を読む）
編集部の見解
文書に答える仕組みで、いちばん後回しにされるのが評価です。作って動いた瞬間に、評価の予定は消えます。質問20個を先に書いておくと、公開の前に立ち止まれるので、この順番には意味があると思います。
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。