Apple研究iPrefBenchが示す壁、モバイルAgentは「聞くべき時に聞けない」

Appleの研究チームが、モバイルAgentの「推測と質問」の判定能力を測る評価基準iPrefBenchを公開した。実行可能なiOS環境で26アプリ、130の情報が欠けたタスク、同一ユーザーの3,051件の活動記録を用意し、7つの最先端モデルを同一の条件で比較している。

「推測」と「質問」を分けて測る

普段行く店の予約をAgentに頼んだ場面を考える。店名は履歴から復元できるが、日時と人数は当人にしか分からない。勝手に決めれば意図から外れ、明らかなことまで質問すれば自動化の意味が薄れる。iPrefBenchは、省略された情報一つひとつに、履歴から復元できるか、当人のみが答えられるかという出所のラベルを付け、Agentがその区別を正しく扱えるかを測る。既存の評価基準は情報が完全なタスクか、質問を許しても履歴が足りないかのどちらかで、この二つを同じ環境に置いたのが初めてという。

操作は得意、意図は不得手

結果は明快だ。最良のClaude Opus 5でも、予約や入力といった画面操作の完了率は91.6%に達する一方、そのユーザーの意図に合った選択まで含めたタスク完全成功率は47.7%にとどまる。履歴から推測できる情報については完成率76.3%だが、質問が必須の情報では51.3%へ落ちる。

実行前の明示的な確認フェーズを挟むと、Sonnet 5は上の表のように改善する。ただし代償も明らかで、適合率は60.4%から42.5%へ下がり、質問は1.37件へ増える。履歴の量を増やしても、推測できる情報の取りこぼしは減るが、聞くべき情報の把握はむしろ弱くなった。つまり「聞く」と「調べる」の配分は、履歴や確認の回数という量では解決できない。

環境の変化は質問を増やす

興味深いのは擾乱実験の結果だ。現在の指示が長期の習慣と衝突する場面でも、最近の行動が好みの変化を示す場面でも、Agentの個別化スコアは下がった。ところが第一候補が利用不能な環境では、発問は平均2.3倍に増え、質問必須の情報への対応も改善した。障害は質問を促す。この非対称は、パーソナルAgentの設計で確認のタイミングを仕込むヒントになる。誤りの型は四つに整理され、欠けた情報に気づきながら決め打ちする型、欠けていること自体に気づかずアプリの初期値に流れる型などが挙げられている。

よくある質問

Q. iPrefBenchとはどんな評価基準か。
Appleの研究チームが公開したモバイルAgent用の評価基準で、実行可能なiOS環境の中に26アプリ、130の情報が欠けたタスク、同一ユーザーの3,051件の活動記録を備える。Agentは履歴から情報を得るか、ask_user動作で模擬ユーザーに質問するかを選べる。省略された情報には、履歴から復元できるものと、当人のみが答えられるものの2種類の出所がラベル付けされている。

Q. Agentはなぜ質問しないのか。
質問が必須の情報について、いずれのモデルも対応が弱く、質問の想起率は最高44.3%だった。1タスクあたり必要な質問は平均0.89件なのに、実際の発問は0.08〜0.35件で、確認すべき場面でも決め打ちに進む傾向が強い。

編集部の見解

この結果は、日本の業務システムにAgentを載せる際の要件をそのまま映す。勝手に推測した予約や申請が事故になる領域では、「確認の設計」が機能要件になる。実行前の確認フェーズは完全成功率を14.6ポイント上げる一方で不要な質問も増やす。どこで聞くかを業務側が明示できるかどうかが、導入成否の分かれ目になるだろう。

my-best.ai 編集部

出典：36Kr「Apple Personal Agentの新研究：作業はできても、あなたを理解したわけではない」（寄稿：学術頭条、2026年10月28日）

あわせて読みたい

• Claude Codeが専門家の判断を静かに変える、Anthropic対照実験の86%
• 創業2ヶ月のPSIが量子情報の難問5件に進展、Leanで検証可能な証明を公開
• 「巨大定理」を24日でLean形式化、Axiomが数千万行のコードで40年前の隙間を補う

本日の36Kr AI版の記事を日本語で整理したものです。最新記事の一覧から他のニュースも読めます。