ホンユ・ワン (Hongyu Wang) 氏らが率いる研究チームは2026年11月19日(現地時間)、一人称視点ビデオにおける観察者と周囲のエンティティとの相互作用理解を評価する新しいベンチマーク「EgoPass-Bench」を発表した。この研究は、マルチモーダル基盤モデル (MFM) の既存評価では十分に検証されていなかった、動的な観察者とエンティティの相互作用の発見と解釈に焦点を当てている。

EgoPass-Benchは、現実世界の一人称視点ビデオにおける観察者相対的な相互作用理解を目的としている。ベンチマークは、Ray-Ban Meta (Gen 2) スマートグラスを使用して記録された284の手動レビュー済み評価クリップで構成され、2,201の異なる質問が5つのタスクにわたって用意されている。これらのタスクは、運動知覚、指定されたエンティティに関する相互作用判断、およびターゲットキューなしでの関連エンティティ発見を評価する。

8つのフレームベース構成と6つのネイティブビデオ構成で実施された評価では、運動知覚と相互作用理解の間に顕著な不一致があることが明らかになった。評価された中で最も強力なモデルであるGPT-6 Astraは、同一ターゲットを含む394の比較においてオブジェクトの運動を91.37%の精度で正しく認識したが、通過制約の変化を正しく特定できたのは66.50%にとどまった。

GPT-6 Astraは、全574のエンティティ発見質問において、2人の人間のベースラインに対し23.65 ± 7.45パーセントポイント (95% CI) の差で後塵を拝した。一方で、常に空であると仮定するベースライン (36.76%) は少なくとも18.9パーセントポイント上回っている。さらなる分析の結果、物理的な衝突や通過の制約とならないエンティティが頻繁に含まれてしまうことが判明し、正確な運動認識が信頼性の高い関連エンティティ発見を必ずしも保証しないことが示されている。


参考: arXiv cs.CV — 2026年11月20日 14:00 (JST)

原文ハイライト

"We introduce EgoPass-Bench, a benchmark for observer-relative interaction understanding in real-world egocentric video."

この記事をシェア
X はてブ LinkedIn