清華大学の研究チームが、AIエージェントの蒸留（Distillation）をトークン単位ではなく動作単位で行う「ActionOPD」を発表しました。教師モデルの生成APIだけで学習できます。
何が課題だったのか
従来の同策略蒸留は教師のトークン確率とトークナイザーの共通が前提でした。オフライン蒸留は教師と生徒で状態の分布がずれます。いずれも語彙のレベルで監督しており、動作の意味はそろえていません。
どう解いたのか
生徒が遭遇した状態で、教師から3件、生徒から4件の応答をサンプリングします。ツール呼び出しは関数名と正規化した引数を照合し、残る差分は固定したLLMに判定させます。意味が一致した動作に報酬を与え、生徒自身の系列で方策を更新します。
結果と限界
未学習の4ベンチマークで、Qwen3-4Bと8Bの平均が3.3〜6.9ポイント上昇しました。一方τ²-benchでは、1回目の成功率40.0%がオフライン蒸留の37.5%を上回るものの、4回とも成功する率は14.2%と下回ります。
編集部の見解
この手法の意味的一致は正しさの保証ではなく、教師の誤りも学習対象になります。QwenやDeepSeekで試す場合も、失敗率を併記して評価してください。
my-best.ai 編集部
出典：36Kr（2026年10月19日／学術頭条）、arXiv:2610.19820
メールマガジン
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。