ロボットが自分でコードを書いて技能を覚える──RAXが示した37.4ポイントの差

ハーバード大学、NVIDIA、カリフォルニア大学バークレー校、MIT、スタンフォード大学の研究チームが、オープンソースのフレームワーク「RAX（Robot Agent eXploration）」を公開しました。汎用のコーディングエージェントがロボットを直接動かし、うまくいった手順をプログラムとして書き残す。人間が手を取って教える工程を、まるごと省く設計です。5つのシミュレーション基準で、最良のベースラインを平均37.4ポイント上回りました。

エアフライヤーを開けるまで44分

論文で示された例が分かりやすい。ノンフライヤーを開ける作業をさせると、エージェントは深度カメラを見ながら解析スクリプトを書き、動作を試すことを繰り返しました。最初の把持に成功するまで44分、書いた解析スクリプトは23本。人間が見れば一瞬の作業です。

ただし、一度「取っ手をどう定位し、どう掴み、どう引き出しを段階的に開け、バナナをどう置き、どう閉めるか」という有効な判断の連鎖を見つけると、それをモジュール化されたプログラムにコンパイルします。以降はロボットが高速に自動実行します。遅い探索と、速い実行を分けているわけです。

従来の手法との違い

注目すべきは、基盤となる言語モデルのパラメータを一切更新しない点です。学習するのは「ワークスペース」と呼ばれる保存領域で、そこにプログラム、メモ、検証済みの技能が溜まります。モデルを再訓練せずに能力が増える構造です。

RAXに渡されるのは、自然言語の指示、数枚の目標画像、そして探索に使える回合数の予算だけ。遠隔操作も、価値関数による誘導も使いません。

よくある質問

Q. 実機でも動きますか？
A. 実験の中心はシミュレーションです。実機は試行のコストと危険が大きく、探索の規模を広げにくいという制約があります。

Q. 37.4ポイントは何の差ですか？
A. 5つのシミュレーション基準における、最良のベースラインとの平均差です。未見の環境での汎化性能が、探索規模の拡大とともに上がることを示しています。

編集部の見解

この研究の面白さは、ロボットの知能を上げたのではなく、ロボットに「プログラマ」を付けた点にあります。44分かけて23本のスクリプトを書くのは非効率に見えますが、書いたプログラムは再利用できます。人間の熟練工が手順書を残すのと、構造としては同じです。

日本の製造業にとっての含意は、段取りの資産化です。熟練者のコツを、モデルが試行錯誤して見つけた手順として残せれば、属人性は下がります。逆に、試行錯誤のコストを嫌って従来の教示に戻れば、同じ壁に何度も当たります。研究段階の話ですが、方向は現場の課題と一致しています。

my-best.ai 編集部

出典：36Kr「清華大学姚班とハーバードの逸材が、ロボットにコードを書かせ技能を鍛えさせる——手取り足取りの時代は終わった」（寄稿：智東西、2026年10月20日）／論文「Scaling Online Exploration for Robot Agents」による

あわせて読みたい

• AIは神話を終わらせない──「アルゴリズム神託」という新しい権威
• ロボットの「脳」を1時間3ドルで借りる──Dream Labsが世界初の汎用APIを公開
• 脳の860億ニューロンをAIで解く──北京大学の研究者が起こしたスタートアップ

本日の36Kr AI版の記事を日本語で整理したものです。最新記事の一覧から他のニュースも読めます。