AIエージェントが現場の仕事をどこまで完遂できるかを測る新しいベンチマーク「FDE-Gym」が2026年10月16日に公開されました。20のシナリオ、18の業種から集めた95のタスクで試した結果は、想定より厳しいものです。
何を測るのか
曖昧な顧客要望から、実際に動くシステムを納品できるかを評価します。採点は完成度に加え、業務にもたらした影響まで含みます。現場で起きる制約の見落としを、いかに減らせるかが焦点です。
結果
最も良い構成でも平均スコアは0.56で、解決できたのは95件中14件でした。最大の障害は、書かれていない制約を自分で見つけ、業務の成果に変換する部分です。
実務への示唆
手順が決まっている作業は任せられても、要件定義そのものは人が握る必要があります。エージェント導入の効果は、モデルの賢さより依頼の具体度で決まる、という整理になります。
編集部の見解
日本企業の内製開発では、要件が口頭で渡りがちです。この研究は、導入前に業務手順書を整えることが最短の投資になる可能性を示します。まずChatGPTやClaudeで要件の抜けを洗い出し、その結果を人が確認する使い方が現実的です。
my-best.ai 編集部
出典：arXiv（cs.AI、2026年10月16日）
メールマガジン
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。