arXiv cs.CVは2026年10月20日(現地時間)、生成的な多視点空間知能を評価するためのベンチマーク「マインドビュー (MindView)」を導入したと発表した。MindViewは、3つの屋内データセットから513シーンにわたる1,500のサンプルで構成されている。初期評価では、11の生成モデルが軒並み改善の余地を残しており、研究の進展が求められる状況が示された。
MindViewは、カメラ位置と向きの変化を指定するgeometry-dominant tasksと、参照オブジェクトの特定や空間関係の解釈を通じてターゲット視点を推論するsemantics-dominant tasksの2つのカテゴリにまたがる7つのタスクで評価を行う。
expanded context設定下での評価では、11の生成モデルすべてが全体スコアの低下を示した。この結果を受け、研究チームはタスク固有の教師あり学習がターゲットビュー生成に有効か、またモデルが追加の多視点エビデンスを効果的に利用できるかを検証した。
具体的には、生成モデル「BAGEL」をMindViewの訓練データセットでファインチューニングしたところ、全体スコアが24.3ポイント向上し、MindViewの7つのタスクすべてで改善が見られた。このファインチューニングされたモデルは、アノテーションによる訓練なしで3つの空間理解ベンチマークでも高いスコアを記録しており、空間的に接地されたビューを生成する学習が空間理解にも利益をもたらす可能性を示唆している。
さらに、expanded context下でのエビデンス利用を改善するため、訓練不要の空間エビデンスセレクターマインドキュー (MindCue)が提案された。マインドキュー (MindCue)は、expanded context下での全体スコアの低下を逆転させ、標準コンテキストのベースラインを上回る性能を発揮している。MindViewは、生成的な多視点空間知能のための具体的なテストベッドを提供すると位置付けられている。
参考: arXiv cs.CV (アーカイブ) — 2026年10月21日 02:58 (JST)