同じ土俵に38モデル、StreamEvalが暴いた「指示に従う」の壁

清華大学、NVIDIA、CMU、UC Berkeley、Princeton、NUSなどが共同で、リアルタイム対話型の動画生成を評価するベンチマーク「StreamEval」を公開した。5種類300用例、38モデル、49通りの構成を同じ条件で測った結果、画質が高くても連続した指示に追従できない実態が数字で表れた。

なぜ新しいベンチマークが必要だったのか

この分野には共通の定義すらない。同じ技術を「対話型ワールドモデル」と呼ぶ企業もあれば、「リアルタイム対話型マルチモーダルモデル」と呼ぶ企業もある。名称が定まらない以上、評価軸も定まらない。

既存の手法は完成品を見る。指示文を渡し、生成された動画の画質、動きの妥当性、スタイルの一致を採点する。VBenchやEvalCrafterはこの設計だ。だがリアルタイム系で難しいのはそこではない。利用者の指示は連続して届き、モデルは生成を止めずに応答し、人物の同一性、既存の背景、直前までの修正を保たなければならない。

どう測っているのか

設計の中心は、入力の到達を時間軸で制御する点にある。音声、テキスト指示、参照画像、元動画のフレームが時間に沿って少しずつ解放され、モデルはその時点で見えている入力しか扱えない。答えに当たる期待値も渡されない。

38モデルは何を出したのか

数字人対話では、Vidu S2-Avatarが基礎スコア88.98、独自形象の加算5点を含めて93.98で首位だった。仮想人表演でも81.71で最高。音と映像の同期99.60、安定性97.25、同一性86.12と高い。ところが指示追従は36.90で、それでも7モデル中の最高値である。

世界生成はもっと分かりやすい。総合首位のMemFlowが33.36、指示追従の首位がKrea Realtimeで25.93、連続性の首位がMatrix-Game 3.5で34.50。HappyOyster 1.0 Adventureは画質58.34、安定性56.67でともに同タスク最高だが、指示追従5.56、連続性2.78にとどまった。絵がきれいであることと、言われた通りに動くことは、ほぼ無関係だ。

参照編集は最も難しい。参照画像を途中で差し替え、変更範囲を制御し、元の状態を保ち、指示を撤回したら元に戻す。この全部を1回の生成の中で満たす必要がある。首位のVidu S2-Editingでも編集成功率は15.00。人物の外見は変えられても背景が壊れる、背景は保てても新しい参照形象を採り入れられない、という失敗が残る。

スコアをどう使えばいいのか

このベンチマークは順位表としてより、弱点の位置を示す地図として使うほうが役に立つ。制作の現場で問題になるのは、多くの場合、画質ではなく「3回頼んだら2回しか効かない」という不安定さだ。指示追従と連続性のスコアが低いモデルは、編集作業の反復回数が増える。単価が安くても、やり直しの工数で逆転する。

よくある質問

Q. 日本の制作現場に関係あるのか。
ある。縦型の短尺広告や商品紹介では、素材を差し替えながら同じ人物を保つ作業が発生する。この作業の成否は参照編集のスコアに近く、現状の最高値が39.02であることは、人の確認工程を残す前提で設計すべきだという判断材料になる。

Q. なぜ総合順位を出さないのか。
タスクの性質が違いすぎるためだ。数字人対話と世界生成では求められる能力が違う。1本の順位に統合すると、どの用途に向くのかという情報が消える。

編集部の見解

日本の広告制作やECの現場では、動画の生成そのものより、既存素材の再編集に需要がある。StreamEvalの参照編集タスクは、まさにその工程を切り出している。最高39.02という数値は、この領域がまだ研究段階にあることの証拠として受け取っておきたい。

my-best.ai 編集部

出典：36Kr「清華大学やNVIDIAなどが新しいベンチマークを公開、38のAIリアルタイム動画モデルの弱点が露呈」（寄稿：機器之心、2026年10月27日）

あわせて読みたい

• AIの恩恵は上位層に偏るのか、営業236人の調査が示した分岐
• 「博士課程の職業設計はもう成立しない」、Anthropic研究者が並べた4つの数字
• Anthropicが上場申請を公開、売上162億ドルと純損失807億ドルは何を語るか

本日の36Kr AI版の記事を日本語で整理したものです。最新記事の一覧から他のニュースも読めます。