AIエージェントを導入すると、しばらくは調子がよく見えます。ところが数週間たつと、以前は通っていた依頼が通らなくなります。原因を追うには、評価の記録が要ります。本記事では、DeepLearning.AI が公開しているコース群の考え方を参考に、評価の仕組みを5つの手順に整理します。
評価がないと起きること
DeepLearning.AI のコース一覧には、エージェント、RAG、評価と監視の3つが主要なテーマとして並んでいます。とくに評価と監視は、導入後の運用を支える領域です。コースの説明でも、出力を自動で評価し、品質の基準を満たすまで繰り返す、という進め方が示されています。
評価がない運用では、うまくいった1件が記憶に残り、失敗した10件は流れていきます。これでは、改善したのか悪化したのかが分かりません。必要なのは、点数を付けることではなく、同じ条件で比べられる記録です。
手順1：任せた仕事を10件集める
直近1か月で、エージェントに任せた仕事を10件集めます。うまくいった例だけでなく、やり直した例も入れてください。偏った例だけでは、評価は良くも悪くも出ません。
手順2：課題と正解を1組にする
各件について、入力と、あるべき出力を1組にします。正解が一意に決まらない仕事は、満たすべき条件を3つ書きます。「指定の3項目が入っている」「数値が原資料と一致する」「宛先が正しい」といった形です。条件が書けない仕事は、まだ評価できません。
手順3：採点の基準を3段階にする
| 段階 | 意味 | 扱い |
|---|---|---|
| そのまま使える | 修正なしで外に出せる | 合格 |
| 直せば使える | 1か所の修正で済む | 条件付き合格 |
| 作り直し | 前提から誤っている | 不合格 |
5段階にすると、判断が人によってぶれます。3段階なら、担当が変わっても同じ基準で見られます。迷ったときは「直せば使える」に倒してください。
手順4：変更のたびに同じ課題で回す
依頼文を変えた、モデルを変えた、参照資料を差し替えた。変更したときは、必ず同じ10件で回します。ここを飛ばすと、良くなったのか、たまたま当たったのかが分かりません。回した結果は、変更前と並べて残します。
この考え方はガードレールの設計とも重なります。止まるべき場面で止まっているかも、評価の対象です。
手順5：月に1回、課題を見直す
業務が変われば、正解も変わります。月に1回、課題のなかから1件を入れ替えてください。入れ替えを記録しておくと、時点ごとの比較ができます。全部を入れ替えると、過去と比べられなくなります。
評価を軽くする工夫
10件の採点は、1件1分もあれば終わります。表計算に「日付・課題番号・判定・気づいたこと」の4列を用意し、変更のたびに1行ずつ足すだけで十分です。凝った仕組みを作ると、更新されなくなります。
よくある質問（FAQ）
Q. 課題を10件も用意できません。
A. 3件から始めてください。よくある依頼、判断が難しい依頼、失敗した依頼の3つです。件数より、毎回同じ課題で回すことのほうが重要です。
Q. 正解を書くのが難しい仕事はどうしますか？
A. 正解ではなく、満たすべき条件を書いてください。条件が3つ書ければ評価できます。書けない場合は、その仕事はまだ任せる段階にありません。
Q. 点数が下がったときに何を見ますか？
A. まず変更履歴です。依頼文、モデル、参照資料のどれを変えたかを確認し、同じ課題で戻してみます。戻して回復すれば、原因はその変更です。
あわせて使いたいツール
本記事の手順を実際に回すときに、候補になるツールを挙げます。いずれも無料から試せる範囲があり、料金や機能は各サービスの公式情報で確認してください。
編集部の見解
評価の仕組みが続くかどうかは、採点の段階数で決まります。当編集部では、3段階より細かい基準を作った時点で、その評価は長続きしないと考えています。判断が速いこと自体が、評価の一部です。
my-best.ai 編集部
出典：DeepLearning.AI「Courses」（要約して紹介しています）
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。