arXivは2026年10月20日(現地時間)、任意の3Dリグに対応する動画と3Dモーションを共同で生成する新モデルを発表した。従来の動画生成モデルはピクセルレベルの動きのみを扱うため、3Dアセットのアニメーション化や3Dシーンでの再生に課題があった。新モデルはこれらの課題を解決し、モーションを物理的に整合性の取れた形でシーンに組み込むため、対象となるカメラ情報も併せて生成する特長を持つ。
新モデルは、動画と3Dモーションを共同生成することで、従来の動画-モーション生成技術が抱えていた根本的な課題に対処する。これまでのモデルは、主に人間の骨格に特化するか、生成された2Dポーズマップから3Dモーションを三次元化するアプローチが主流だった。これに対し、本モデルは3Dモーションを独立したモジュールとして扱い、任意の骨格を柔軟にサポートする。この分離されたアプローチにより、モーションモデルは動画データと分離されたモーションのみのデータから骨格の動きを効率的に学習できるという利点がある。モーションデータは、ペアとなる動画データと比較して、入手および拡張が容易であるとされている。
このアーキテクチャでは、事前学習済みの既存動画モデルと、少数のクロスアテンション層を通じて接続される。これにより、動画データとモーションデータを直接的に統合することなく、それぞれの強みを活用しながら連携動作を実現する。具体的には、モデルは動画フレーム内の各関節の正確な位置を特定し、その情報に基づいてシーン内のカメラ姿勢を復元する。このカメラ情報の復元は、生成された3Dモーションを物理的に整合性の取れた形で3Dシーン内に配置する上で極めて重要となる。これにより、モーションがシーンの奥行きや視点と自然に調和し、よりリアルなアニメーション生成が可能となる。
多様な骨格タイプに対応するため、モデルのトレーニングプロセスには独自の工夫が凝らされた。生成型の動画エディターが活用され、アニメーション化された3Dアセットが、それぞれのアクションに適したシーンへと配置される。この際、既知のモーションが常に有効な状態を保つように編集が施される。トレーニングデータは、人間とロボットの両方の動画データを統合し、約20万のトレーニングペアが生成された。この豊富なデータセットと、多様なリグに対応できる柔軟な設計が、モデルの汎用性を高めている。
評価結果では、本モデルがテキスト入力から多様なリグを、従来の動画ファーストのパイプラインよりも高い忠実度でアニメーション化できることが示された。さらに、生成されたモーションが周囲のシーンの物理的制約やコンテキストに適切に反応し、よりインタラクティブで説得力のあるアニメーションを実現できることも実証された。加えて、動画からリグモーションへの変換、およびリグモーションから動画への変換といった相互変換機能も備えている。また、ユーザーが指定したキーフレームに基づいて3Dモーションを制御できる機能も提供されており、アニメーション制作における柔軟性と制御性が大幅に向上する。
参考: arXiv cs.CV (アーカイブ) — 2026年10月21日 02:59 (JST)