Xuyang Liu氏らの研究チームは10月13日(現地時間)、オムニモーダルビデオグラウンディングと理解のための包括的ベンチマーク「OmniCompass」を発表した。本ベンチマークは、マルチモーダル大規模言語モデル（MLLM）のビデオ理解能力を評価し、既存ベンチマークでは不足していた評価次元を補完することを目指している。情報源はarXiv cs.CV。
OmniCompassは、2つの評価トラックを定義している。一つは、視覚的証拠を必要とするタスクでビジョン言語モデルを評価する「OmniCompass-VL」。もう一つは、オーディオとビジュアルの両方の証拠を必要とするタスクでオムニモーダルモデルを評価する「OmniCompass-AV」である。各トラックには、時間的グラウンディング（temporal grounding, TG）、空間的グラウンディング（spatial grounding, SG）、質問応答（question answering, QA）の3つの補完的なタスクが含まれる。これらは、参照されるターゲットがいつ現れるか、どこにあるか、そして何が起こるかを評価する。
QAは、OmniCompass-VLでは5つの知覚カテゴリと3つの推論カテゴリ、OmniCompass-AVでは3つの知覚カテゴリと2つの推論カテゴリをカバーする。OmniCompass-VLは820本の動画と2,460のインスタンスを含み、多様なドメインと短期、中期、長期の3種類の期間にわたる。OmniCompass-AVは、ナラティブとオーディオが豊富なサブセットで構成され、240本の動画と720のインスタンスが含まれる。各インスタンスは、テキストのみとテキスト＋画像の2つのペア設定で評価され、テキストおよび視覚言語のガイダンスを通じて同じターゲットが特定される。すべてのインスタンスは、多段階の品質検証を伴う手動で注釈付けされている。
50のMLLMを対象とした評価では、オープンソースモデルがプロプライエタリなモデルに依然として遅れを取っており、特にオーディオビジュアル理解においてその傾向が顕著であることが示された。主要なモデルにとっても、正確な時間的および空間的グラウンディングは依然として困難であり、ペア設定されたターゲット仕様間で予測に矛盾が見られることも報告されている。
参考: arXiv cs.CV — 2026年10月14日 02:54 (JST)
原文ハイライト"OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding"