arXiv cs.CVは2026年10月15日(現地時間)、自然言語クエリに基づく空間時間動画接地 (Spatio-Temporal Video Grounding: STVG) の新たな課題として「Event-STVG」を提唱する論文を発表した。従来のSTVGベンチマークがインスタンス固有の記述による目標特定に限定されていたのに対し、Event-STVGは長尺コンテキスト、反復イベント推論、イベント特定、役割推論、マルチターゲット接地を統合し、イベントレベルの複雑な推論に焦点を当てる。研究者らは、このタスクのためにサッカーを含む8つのドメインにわたる4,016件の注釈付きイベントで構成される大規模なベンチマークを構築した。
Spatio-Temporal Video Grounding (STVG) は、自然言語クエリから動画内の特定のターゲットを空間的および時間的に特定することを目指す重要な研究分野である。これまでのSTVGベンチマークは主に、短い動画クリップ内の個々のオブジェクトやアクションインスタンスを対象としており、マルチモーダル大規模言語モデル (MLLMs) で重視される長尺動画における複雑なイベントレベルの推論とは乖離している点が課題として指摘されてきた。
「Event-STVG」は、このギャップを埋めることを目的として考案された。単に「何が記述されているか」を特定する従来のSTVGタスクから、より高次の「イベントレベルの推論」へと焦点を移している。具体的には、従来のベンチマークが解決できなかった以下の課題に取り組むことを目指す：長尺の動画コンテキストを理解し、複数のターゲットを同時に接地するマルチターゲット接地、反復的に発生するイベント間の混同を解決する能力、イベント全体の構成要素を理解する役割推論、そして複雑なイベントの特定である。
Yizhe Zhang氏をはじめとする研究者チームは、Event-STVGの研究を促進するために、大規模なベンチマークデータセットを構築した。このベンチマークは、日常生活の出来事からスポーツ、レクチャー、ゲームプレイまで多岐にわたる8つのドメインを網羅し、合計4,016件の詳細な注釈付きイベントで構成されている。特にサッカーのようなスポーツイベントでは、複数のプレイヤーやボールの動き、パスやシュートといった連続するアクションを総合的に理解する必要があり、Event-STVGが目指す複雑な推論能力が求められる。
最新のMLLMsを用いてこのEvent-STVGタスクを評価した実験では、タスクの難易度が浮き彫りになった。最も性能の高いモデルでさえ、10分間という長い期間の動画において、平均動画IoU (m-vIoU) がわずか5.4%という結果にとどまった。実験の過程で、同タイプの反復イベント間の混同、空間的な接地におけるボトルネック、そしてイベントを構成する全ての役割を同時に正確に接地することの困難さといった共通の問題点が観測された。
これらの結果は、Event-STVGがMLLMsにおける視覚理解の新たな、かつ挑戦的な課題を提示していることを示唆している。この研究は、将来のモデルが複雑なイベントを空間と時間の両方で共同かつ包括的に推論できる能力を開発する必要があることを明確に示している。Event-STVGのコードとアノテーションは、さらなる研究を促進するために公開されている。
参考: arXiv cs.CV (アーカイブ) — 2026年10月19日 13:00 (JST)