SyncVidは10月22日(現地時間)、単一の参照動画から動的なシーンの複数動画を生成する際、ビュー間の一貫性を維持する新手法を提案する論文を公開しました。同手法は、拡散プロセス自体を同期させるため、正規3D空間でガウスノイズ事前情報をサンプリングし、これをターゲットカメラにラスタライズします。これにより、SyncVidは知覚品質とクロスビュー一貫性の向上を実現したと報告されています。
動画拡散における既存のカメラ制御手法は、カメラ埋め込み、クロスビューアテンション、幾何学的条件付けといったアーキテクチャメカニズムに依存することが一般的でした。これらの手法は静的なシーンコンテンツに対しては有効であるものの、複数のビューや時間経過を通じて一貫性を保つ必要があるきめ細やかな動的ジオメトリの処理に課題を抱えていました。
SyncVidは、各2D画像平面で独立してサンプリングするのではなく、正規3D空間でガウスノイズ事前情報をサンプリングし、それをターゲットカメラにラスタライズすることで拡散プロセスを同期させます。この手法は、単眼動画を正規4D表現に持ち上げ、ノイズをシーンジオメトリおよび見えない空間に関連付け、結果として得られる構造化ノイズを任意のビューにラスタライズします。レンダリングが局所的な相関を導入する可能性があるため、SyncVidは隣接ピクセルの相関を解除しつつビュー間の対応を維持するクロスビュー一貫性のあるホワイトニング手順も提案しています。
この構造化ノイズは、LoRA (Low-Rank Adaptation) が適用された事前学習済み動画拡散モデルの拡散事前情報として機能し、アーキテクチャの変更を必要としません。確率性の源で時空間的およびクロスビューの一貫性を強制することで、SyncVidは同期された動画を生成し、実験において知覚品質とクロスビューの一貫性の両方を向上させたことを、ファルハド・G・ザンジャニ氏らが報告しています。
参考: arXiv cs.CV — 2026年10月26日 13:00 (JST)
原文ハイライト"World-Equivariant Diffusion for Synchronized Video Generation"