サルベシュ・バスカー (Sarvesh Baskar) らは2026年8月6日(現地時間)、「The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping」と題した論文をarXiv cs.AIに投稿した。この研究は、動画言語モデルが単純なイベントカウントにおいて信頼性の低い結果を示すことを明らかにしており、特に高頻度・高イベント数のシナリオでその失敗が顕著であると指摘している。既存のベンチマークが複雑な要因を絡めて失敗モードの特定を困難にしている現状に対し、制御されたタスクとイベントトレースに基づく新たな評価手法を導入し、モデルの時間的推論における根本的な制約を分析した。
従来のリアルワールド動画ベンチマークは幅広いカバレッジを提供するものの、固定されたクリップではイベント数、レート、期間、視覚的複雑さが絡み合い、失敗モードを特定することが困難だった。既存のプログラム可能なベンチマークはより優れた制御を提供するが、最終的な回答のみを評価し、報告されたイベントを真の実行可能なグラウンドトゥルースと照合する監査は行われていなかった。
このギャップを埋めるため、研究者らはイベントカウントのためのtrace-grounded parametric profilingという手法を導入した。これは、跳ねるボールの壁接触、視覚的な点滅、カテゴリ状態遷移という3つの制御された動画タスクを用いる。2,190本の動画を対象に、イベント数Nと頻度Fを変化させながらレンダリングを固定して評価を行った。各動画には、能力曲面推定とタイムスタンプレベル評価のための実行可能なイベントトレースが含まれている。
得られた結果は、段階的な時間的失敗を示している。80%の信頼度閾値において、Gemini 3.6 Flashは永続的な状態遷移を0.5Hzおよび1.0Hzで最大12イベントまで信頼性高くカウントできる。しかし、過渡的な点滅イベントについては、信頼できる陽性カウント領域を示さなかった。これは、イベント表現がモデルが証拠に最初にアクセスするかどうかを決定することを示唆しており、イベント数と頻度が増加するにつれてこの制限が複合的に作用する。高カウント・高頻度領域では、最終的なカウントの正答率はわずか0.2%に過ぎず、モデルが回復する真のイベントは18.1%にとどまった。
視覚アクセスが主要なボトルネックであるかをテストするため、サンプリングレートを増加させた。その結果、Bounce Ballの精度は19.6%から29.3%に向上したが、報告されたシーケンスがグラウンドトゥルースと一致するのは3.7%のみだった。このことから、余分なフレームは忠実なイベント回復を伴わずに最終スコアを水増しする可能性がある。異なるプロンプト戦略も同様に限定的な改善しか得られず、実世界の動画評価でも低イベント数での成功が集中することが示された。
最終的に、trace-grounded profilingは、動画評価を集計精度指標から、時間的推論がどこで失敗するかの詳細な診断へと移行させるものと結論付けられている。
参考: arXiv cs.AI — 2026年8月7日 02:57 (JST)
原文ハイライト"Video Language Models Fail at Simple Event Bookkeeping"