Yuxin Jiang氏らは2026年11月19日(現地時間)、事前学習済みのビデオ拡散トランスフォーマー (Video Diffusion Transformer、以下 DiT) を転用し、教師なし動画から転移可能なアクションを学習する新しいフレームワーク「O$^{2}$LaF」に関する論文をarXivに発表した。この研究は、動画に映る変化の原因となるアクションの学習において、事前学習済みビデオ生成モデルを逆動力学と順動力学の両方で活用する「one prior, two dynamics」の原則を導入している。

O$^{2}$LaFは、同じ事前学習済みビデオ DiTから、逆動力学モデルと順動力学モデルの両方を初期化し、それぞれの役割に適応させる。逆動力学には学習可能なアクションクエリを持つフィードフォワード遷移エンコーダを、順動力学には因果的なアクション条件付きビデオ生成器を用いる構成である。

このフレームワークは、情報アクセスを制御し、コンパクトなボトルネックを介して両動力学をエンドツーエンドで最適化することで、ラベルなし動画から転移可能なアクションを学習することを可能にする。この手法は、ナビゲーションとロボット操作の分野において、few-shotアクションプロービングで新たな最先端(state of the art)の性能を確立した。さらに、視覚的コンテキストやエンボディメントを超えたzero-shotアクション転移を強化する。

O$^{2}$LaFのフレームワークは、生成的なビデオ事前学習の範囲を超えて、V-JEPA2のような予測的表現事前学習にも拡張され、競争力のある性能を達成している。これらの研究結果は、事前学習済みビデオモデルを転用して転移可能なアクションを発見し、その結果を予測するという、潜在アクション学習におけるより広範なパラダイムを示唆している。


参考: arXiv cs.CV (アーカイブ) — 2026年11月20日 03:58 (JST)

原文ハイライト

"repurposing pretrained video models to discover transferable actions and predict their consequences."

この記事をシェア
X はてブ LinkedIn