Jisoo Kim (ジス・キム) 氏らは11月3日(現地時間)、事前学習済みの動画拡散モデルを汎用潜在行動学習器として再利用する新手法「DreamX (ドリームエックス)」を発表した。この手法は、論文「DreamX: Video Diffusion Model is a Universal Latent Action Learner」としてarXiv cs.CV (アーカイヴ シーエス ドット シーブイ)で公開された。DreamXは、動画モデルの時空間特徴からコンパクトな潜在行動を抽出し、各潜在動画フレームを1,200トークンから4トークンへと大幅に圧縮することで、行動関連のダイナミクスを視覚的外観から分離して捉えることを可能にする。
DreamX (ドリームエックス) が開発された背景には、動画から普遍的な行動表現を学習する上での重要な課題が存在する。これは、同一行動の異なる実行間において一貫性を保ちつつ、エンボディメント (身体性) や外観の変化に対して不変なダイナミクスを正確にモデル化する必要性だ。従来の潜在行動モデルでは、行動の表現が視覚的変化と混同されがちであり、これにより異なるエンボディメント間で学習した行動を転送する能力が著しく制限されるという問題が指摘されていた。
この課題に対し、DreamXは事前学習済みの動画拡散モデルの強力な表現学習能力に着目し、これを汎用的な潜在行動学習器として再利用する革新的なアプローチを提案する。動画拡散モデルが持つ時空間的な特徴抽出能力を活用することで、DreamXは行動の本質を捉えるより抽象的かつコンパクトな潜在空間を構築する。この潜在空間は、人型ロボット、産業用アーム、あるいは仮想キャラクターといった多様なエンボディメント、変化に富む環境、そして広範な行動パラメータ化全体にわたる共通の行動インターフェースとして機能するよう設計されている。
具体的には、DreamXは各潜在動画フレームの表現を、元の1,200トークンからわずか4トークンへと300倍にまで圧縮する。この極めて効率的な圧縮は、行動に関するダイナミクスを視覚的なノイズや外観の変化から効果的に分離することを可能にする。これにより、モデルは純粋な行動パターンに焦点を当て、その普遍性を学習できる。
提案されたDreamXの性能は、広範なベンチマークであるLARY-Bench (ラリーベンチ) における評価によって検証された。その結果、DreamXは既存の潜在行動モデルの中で最先端 (state-of-the-art) の性能を達成し、その優位性を示した。さらに、この潜在空間の重要な特徴は、ある設定で符号化された行動が別の設定でも有効であるという汎用性にある。これは、任意の動画転送 (any-to-any video transfer) や、多様なエンボディメントや環境を横断するゼロショット行動転送 (zero-shot action transfer) といった、応用範囲の広いタスクをサポートすることを意味する。この共有インターフェースは、コンパクトな潜在行動空間でのポリシー学習を可能にし、動画拡散モデルに基づくポリシーの計算コストを大幅に削減し、実用化への道を拓くと期待される。
参考: arXiv cs.CV (アーカイブ) — 2026年11月4日 03:59 (JST)
原文ハイライト"Video Diffusion Model is a Universal Latent Action Learner"