arXiv cs.CVは11月12日(現地時間)、Gaurav Parmar氏らの研究グループが、動画変換における長期的な時間的一貫性を維持する新手法「vid2vid-long (ヴィドツーヴィド・ロング)」を発表しました。この手法は、インタラクティブな動画変換アプリケーションにおいて、リアルタイム生成と一貫性の両立を目指し、関連履歴がコンテキストウィンドウ外にある場合に長期的な一貫性が損なわれる既存手法の課題に対応します。
Gaurav Parmar氏らの研究グループが提案するvid2vid-long (ヴィドツーヴィド・ロング)は、明示的なフレーム間対応に基づくアプローチを採用しています。この手法の根幹にあるのは、入力動画内で一致する領域は、変換後の出力動画内でも一貫して一致するという基本的な観察です。具体的には、この手法は入力動画内のパッチレベルで詳細な対応関係を計算し、この情報を活用して、対応する領域で以前に生成された出力を効果的に取得します。さらに、「対応クロストランスアテンション」と呼ばれる独自のメカニズムを通じて、これらのパッチ情報をモデルに条件付けることで、動画全体にわたる時間的な一貫性を確実なものとします。
既存の多くの動画変換手法は、注意機構を固定長の因果的ウィンドウに制限しています。この設計上の制約により、時間的に遠い過去のフレームの情報がコンテキストウィンドウの範囲外に出てしまうと、動画全体の長期的な一貫性が維持できなくなるという課題が頻繁に発生していました。これに対し、vid2vid-longは、このような制約を克服し、動画全体にわたって一貫した出力を生成することを目指して開発されています。
研究グループが実施した実験結果では、vid2vid-longが既存の様々な動画モデルと比較して、長期的な時間的一貫性を一貫して向上させることが実証されました。同時に、この手法は高い生成品質とリアルタイム性能を維持しており、実用的なインタラクティブアプリケーションへの幅広い応用可能性を示唆しています。特に、動画コンテンツの生成において品質、速度、そして時間軸での連続性が極めて重要となる場面で、その有効性が高く期待されています。
この研究は、コンピュータビジョン、人工知能、グラフィックス、および機械学習といった多岐にわたる分野に関連する重要な成果であり、その詳細は2026年に開催が予定されているECCV 2026 (イーシーシーブイ 2026)で発表されることが決定しています。動画コンテンツの生成や編集、さらには拡張現実(AR)や仮想現実(VR)環境におけるリアルタイム処理など、多様な技術革新への貢献が見込まれています。
参考: arXiv cs.CV (アーカイブ) — 2026年11月13日 03:55 (JST)
原文ハイライト"Consistent Video-to-Video Translation via Explicit Correspondences"