arXiv cs.CVは2026年11月18日(現地時間)、Autoregressive View Model (AVM) と題する新たなモデルに関する論文を発表した。AVMは明示的な3D表現を構築することなく、シーンをビューのストリームとして生成する。統一されたin-contextインターフェースを通じて、画像や動画を条件に、要求されたカメラパスに沿った短いクリップの生成を可能にする。

Autoregressive View Model (AVM) は、視覚的コンテキストによって再構築と補間を基礎づけ、学習された事前分布によって未見領域への外挿を実現する。AVMは入力と生成履歴から関連ビューを検索し、境界のあるアクティブなコンテキストを形成する機能を備えている。

開発プロセスとして、研究チームは事前学習済みの双方向ビデオ拡散トランスフォーマーをN-in-1-out形式でフローマッチングを用いてファインチューニングした。その後、因果モデルを自身のロールアウトでチューニングし、フォトリアリズムの向上、ノイズ除去ステップの削減、長期間のドリフトの制限を図った。

このモデルは、約800万のシーンとビデオクリップを用いた大規模な学習が実施された。評価はカメラ制御、テキスト制御、視覚品質、ダイナミクス、スパースおよび4D再構築、長期間の一貫性に関する各種ベンチマークで行われた。これらの結果から、AVMが1つのin-contextインターフェースを通じて多様な入力と出力の設定に適応することが示されている。本論文の主な著者には、Jensen (Jinghao) Zhou氏、Samuel Rota Bulo氏、Denis Rozumny氏、Duncan Zauss氏、Peter Hedman氏、Nikhil Keetha氏、Philip Torr氏、Christian Rupprecht氏、Andrea Vedaldi氏、Peter Kontschieder氏が名を連ねている。


参考: arXiv cs.CV (アーカイブ) — 2026年11月19日 14:00 (JST)

原文ハイライト

"generates a scene as a stream of views without constructing an explicit 3D representation"

この記事をシェア
X はてブ LinkedIn