アディティ・ティワリ (Aditi Tiwari)氏らは9月10日(現地時間)、学術論文公開サイトarXiv cs.CVで「Does Video Memory Use What It Retrieves? A Causal Audit of Memory Specificity」と題する研究論文を発表した。この論文は、動画モデルが長大なシーケンスにわたり情報を保持するメモリの「特異性 (specificity)」に焦点を当て、取得されたコンテンツがその結果にどの程度影響するかを因果的に検証する新しい手法を提示している。
本研究は、動画モデルの性能向上がメモリから「正しい過去のコンテンツ」を取得し使用することによるという従来の仮説に対し、取得されたコンテンツそのものが実際にその恩恵の根源であるのかを検証した。著者らは、read-time memory substitutionという手法を導入。これは、消費されるメモリ値を置き換えながら計算の残りの部分は変更しないことで、メモリの「恩恵 (benefit)」とメモリの特異性を分離する。
凍結された動画世界モデルにおける検証では、評価に特異なコンテンツを含まないidentity-free controlsが、Ego-Exo4Dおよび7-Scenesにおいてほぼ完全な恩恵を回復し、TUMでは約70%の恩恵を回復した。Ego-Exo4Dでの用量反応実験では、これらの値が観察された訓練メモリ表現から離れるにつれて回復率が102%から1%に低下し、representation repairがこの設定での最有力な説明であるとしている。
WorldMemに関する実験では、同じ軌跡からの「間違ったメモリ」がゼロコンテンツと比較してPSNR恩恵の94.1%を回復した一方、異なる軌跡とバイオームからの「ドナー」は43.7%を回復し、段階的な依存性が確認された。一方、SAM 2では強いコンテンツ依存性が見られた。DAVISにおいて、正しい空間メモリを「有効な間違ったメモリ」に置き換えると、平均領域および境界スコアが0.926から0.182に低下した。MOSEv2の再出現タスクでは、スコアが0.459から0.000に低下した。
これらの結果は、メモリの恩恵が「汎用的な表現サポート」、「より広範なコンテキスト」、または「正確なエピソードコンテンツ」のいずれかに依存する可能性を示唆している。著者らは、read-time substitutionがこれらを直接区別する手段を提供すると結論付けている。
参考: arXiv cs.CV (アーカイブ) — 2026年9月14日 13:00 (JST)
原文ハイライト"Does Video Memory Use What It Retrieves? A Causal Audit of Memory Specificity"