Jisoo Kim氏ら、動画拡散モデルで汎用潜在行動学習器を開発
Jisoo Kim (ジス・キム) 氏らは11月3日(現地時間)、事前学習済みの動画拡散モデルを汎用潜在行動学習器として再利用する新手法「DreamX (ドリームエックス)」を発表した。この手法は、論文「DreamX: Video Diffusion Model is a Universal Latent Action Learner」としてarXiv cs.CV (アーカイヴ シーエス ドット シーブイ)で公開された。DreamXは、動画モデルの時空間特徴からコンパクトな潜在行動を抽出し、各潜在動画フレームを1,200トークンから4トークンへと大幅に圧縮することで、行動関連のダイナミクスを視覚的外観から分離して捉えることを可能にする。