arXiv cs.CVは2026年10月17日(現地時間)、長尺動画理解における新しいアプローチ「Memory Internalization via Test-Time Training (MIT^3)」に関する研究論文を発表した。同研究は、従来の動画言語モデルが抱える、各質問に対して動画フレームを繰り返しエンコードする課題に対し、動画の知識をコンパクトな動画固有の適応パラメータとして書き込むことで、動画なしでテキストのみの質問応答を可能にするフレームワークを提案している。
研究論文Memory Internalization via Test-Time Training for Long-Video Understandingは、Haonan Zhao氏ら7名の著者によって発表された。
同研究は、長尺動画の理解において、既存のパラメータ化された動画メモリ手法が合成テキストと固定された適応設定に主に依存し、動画知識の書き込み場所や視覚的証拠によるメモリ形成の課題を残している点を指摘する。これに対し、MIT^3は動画ごとに適応するフレームワークとして、各長尺動画をコンパクトな動画固有の適応パラメータに書き込む。これにより、動画にアクセスすることなく、テキストのみでの質問応答を実現する。
MIT^3は、コンパクトな多段階監視の下で因果トレース (causal tracing) を用いて各モデル層の因果的メモリ有用性を測定し、動画固有の適応場所を選定する。さらに、視覚的メモリ蒸留 (Visual memory distillation) によってテキストのみのメモリを訓練し、関連する動画クリップによって誘発される表現変化を再現させることで、テキストによる監視を超えた視覚的証拠の内部効果を保持する。
MIT^3は、LVBench、LongVideoBench、Video-MMEの各ベンチマークにおいて評価された結果、データ効率の高い動画なし質問応答を達成した。従来のパラメータ化された動画メモリ手法と比較して、合成サンプルを大幅に削減している。これにより、効果的な動画の内在化 (video internalization) が、知識の書き込み場所と視覚的証拠のモデルへの蒸留方法の両方に依存することが示された。
参考: arXiv cs.CV — 2026年10月21日 13:00 (JST)