エージェントは、道具を間違えて呼んだり、手順を飛ばしたりしても、最終出力だけ見ると成功に見えることがあります。DeepLearning.AIの講座「Evaluating and Improving Agentic Applications」は、評価（evals）という枠組みでこの曖昧さを取り除く方法を教える講座です。講座ページの内容に沿って、検証の進め方を整理します。
ステップ1：トレースを読んで行動を観察する
評価の入口は、エージェントが何をしたかの記録（トレース）を読むことです。講座ページは、モデルと道具の呼び出しを各工程ごとに確認する作業を挙げています。1回の成功が信頼性を意味しない、というのが講座の出発点です。応答の品質だけでなく、途中の行動まで含めて見る視点を作ります。
ステップ2：要件を決めてテストケースに落とす
続いて、このエージェントが何をしなければならないかを文章で定義し、それを個々のテストケースに変えます。講座は、アプリケーションの要件の定義から、テストケースへの変換までを一連の工程として扱っています。「良い振る舞い」が文章として固まっていないと、後の合否判断が主観に流れます。
ステップ3：失敗を分析してラベルを付ける
動作を観察したら、繰り返し起きる失敗にラベルを付けます。講座ページは、失敗の分析とラベル付けを、再利用できるテストセットを作る前工程として位置づけています。頻度と影響の大きさで優先順位を付け、実例と合成例で網羅の穴を埋める流れです。ラベルの段階では、失敗の型が見えるだけで十分です。
ステップ4：コード評価器とLLMジャッジを組み立てる
評価の自動化は2種類の道具で進めます。講座の区分では、明確な合否の規則がある検査はコード評価器、解釈が要る検査はLLMジャッジが担当します。ジャッジに合う既製品がない場合は、独自のルーブリック（採点基準）を書きます。さらに、ジャッジ自体の信頼性を、precision、recall、コーエンのカッパで測る方法も講座は扱っています。
| 検査の種類 | 向く評価器 |
|---|---|
| 形式の確認、必須項目の有無 | コード評価器 |
| 回答の適切さ、丁寧さの判断 | LLMジャッジ |
| 両者に当てはまらない独自の基準 | カスタムルーブリック |
ステップ5：行動と成果の両方を評価する
講座が扱う評価対象は、応答だけではありません。道具の呼び出しが正しかったか、手順の順序が守られたか、会話が続いても指示が保たれるか、そしてエージェントが更新したシステム側でタスクが本当に完了したか、を検証します。トレースの読み方を含む工程の設計は、当サイトのLLM呼び出しを連結する手順で扱っている構成の理解ともつながります。
ステップ6：改善を検証して、失敗を回帰テストに変える
評価の結果は、改善の選択に使います。講座は、同じケースと評価器でエージェントの版を比較すること、改悪（リグレッション）が起きたら変更を絞り込むこと、そして本番で起きた失敗を新しい回帰テストに変えることを挙げています。変更のたびに同じテストセットを回すと、「良くなったのか」が推測ではなく記録で語れるようになります。全体的な設計の枠組みは、当サイトのコンテキスト設計で精度を保つ手順も参考にしてください。
FAQ
Q. 従来のテストとの違いは何ですか？
A. 従来のテストはコードが動くことの確認ですが、エージェントは「良い振る舞い」の定義に照らして測る必要がある、と講座ページは説明しています。
Q. 受講の前提知識はありますか？
A. Pythonの読み書き、pandasの基礎、LLM APIの呼び出し経験が前提と講座ページに記載されています。
あわせて使いたいツール
講座の実習では、オープンソースのトレーシング基盤Phoenix（Arize AI）を使うと講座ページに記載されています。料金と提供条件は各サービスの公式情報で確認してください。
出典
出典：DeepLearning.AI「Evaluating and Improving Agentic Applications」（2026年11月11日更新、講師Laurie Voss、Arize AIとの共同制作）。評価の進め方、評価器の区分、前提知識、使用ツールの記述は同講座の公開ページに基づきます。
関連ガイド
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。