Goodfire、不正AIエージェントを低コスト検知

AI安全性のスタートアップGoodfireは、問題を起こすAIエージェントを検知する新しい方式のモニターを発表しました。既存手法よりはるかに低いコストで監視できるとしています。

発表の概要

TechCrunchによると、Goodfireの新モニターは「インサイドアウト（内側から外へ）」と呼ばれる方式です。エージェントの振る舞いを外側から観察するのではなく、モデルの内部状態に踏み込んで異常を捉えることで、検知コストを大きく下げられると主張しています。

なぜ監視コストが問題なのか

エージェントが自律的に動く時間が長くなるほど、その全行程を監視する必要が生じます。外側からの監視は入出力をすべて精査するため、計算コストがかさみます。内部状態を使う方式は、この負担を減らす狙いがあります。

企業にとっての意味

エージェントを業務に使うなら、暴走を早期に検知して止める仕組みが要ります。監視コストが下がれば、常時監視を現実的な選択にできます。ClaudeやGitHub Copilotのような開発支援ツール、Manusのような自動化エージェントを導入する際、この種の監視レイヤーをどう組み込むかは検討課題です。

効果は提供元の主張

コスト削減の度合いは提供元の説明によるものです。導入前に自環境での検証が推奨されます。

まとめ

エージェント時代の安全性は「作る」だけでなく「監視する」ことで担保されます。低コストな監視手法の登場は、その実運用を後押ししそうです。

監視を運用に組み込む

監視は導入して終わりではありません。どの挙動を異常とみなすかを決め、検知したときの対応手順を用意しておく必要があります。監視コストが下がれば常時監視が現実的になり、エージェントに任せる範囲を広げやすくなります。逆に監視が高コストなままだと、安全性のために機能を絞らざるを得ません。

出典：TechCrunch「Goodfire says its new ‘inside-out’ monitors catch rogue AI agents at a fraction of the cost」（2026年10月8日）