arxiv.orgは2026年7月16日(現地時間)、Xinhao Liら27名の研究チームが、完全オープンな動画マルチモーダル大規模言語モデル（MLLM）「VideoChat3」を発表したことを報じた。この4Bパラメータモデルは、一般、長尺、ストリーミングの各動画理解ベンチマークにおいて、同等以上のパラメータを持つ既存のオープンソースモデルを凌駕する性能を示した。トレーニングコード、戦略、データセットを含む主要コンポーネントが全て公開されている。
研究チームは、VideoChat3が効率性と汎用性を両立させるために二つの主要な設計方針を採用したと説明している。
効率化の側面では、動画入力処理のコスト削減を目指した技術が導入された。具体的には、効率的な時空間表現を可能にするInflated 3D Vision Transformer (I3D-ViT)が組み込まれている。さらに、ストリーミング動画の知覚に特化したAdaptive Frame Resolution for Streaming Video Perceptionの採用により、トレーニングおよび推論プロセスにおける計算資源の消費を抑えつつ、動画データを効率的に処理する。
効果向上の側面では、大規模で高品質な動画トレーニングデータセットの構築に力が入れられた。研究チームはスケーラブルな動画データ合成パイプラインを開発し、多様なシナリオを網羅する三つのデータセットを構築した。これらにはVideoChat3-Academic2M、VideoChat3-LV116K、VideoChat3-OL617Kが含まれる。これらのデータセットは、一般動画理解、長尺動画分析、ストリーミング動画処理といった幅広い動画シナリオをカバーしており、モデルが様々なドメインにおいて高い汎化性能を発揮できるように設計されている。
これらの統合された設計と綿密なデータセット構築により、VideoChat3は広範な汎化性能と計算効率の稀なバランスを達成したと研究チームは評価している。特に、既存のクローズドソースモデルには及ばないものの、オープンソースのマルチモーダル大規模言語モデルの中では最も強力な動画理解能力を持つ一つとして位置づけられる可能性がある。
原文ハイライト"Fully Open Video MLLM for Efficient and Generalist Video Understanding"