シューブ・ガーグ氏とチェン・シャニ氏は2026年10月9日(現地時間)、ビジョン言語モデル (VLM) の内部表現が空間関係を忠実に符号化する能力に課題があることを示す研究結果を発表した。研究チームは、概念の一貫した符号化を評価する新指標EICSと、因果的に制御された空間摂動ベンチマークCASP-VLを導入。複数のVLMアーキテクチャを分析した結果、構成的ベンチマークで高得点を出すVLMでも、空間関係の表現は語彙情報より著しく忠実性に劣るという。この研究は、既存の評価方法では捉えきれないVLMの体系的な欠陥を指摘している。
この研究は、既存のビジョン言語モデル (VLM) が画像とテキストの情報を統合する際、内部で空間関係をどのように表現しているかという根本的な問題に焦点を当てている。
論文によると、VLMは「テーブルの上のリンゴ」といった構成的なタスクにおいては高いパフォーマンスを示すものの、内部の空間的理解が必ずしもその性能に見合っていないという。研究チームは、VLMが入力された画像から得た空間的な関係性情報を、後続の処理で利用できる形で保持できていない可能性を指摘している。
このようなVLMの潜在的な欠陥を浮き彫りにするため、研究チームは二つの新たな評価ツールを開発した。一つは、モデルが概念をどれだけ一貫して符号化しているかを測るEICS (Evaluating Consistent Encoding of Concepts)指標だ。もう一つは、空間関係が意図的に変化させられた条件下でVLMの応答をテストするCASP-VL (Causally Controlled Spatial Perturbation for Vision-Language)ベンチマークである。これらのツールを用いることで、これまで出力ベースの評価では見過ごされてきたVLMの内部的な問題点を明らかにすることが可能になった。
詳細な分析の結果、空間関係の不忠実性は、述語の個々のトークンレベルでは検出可能であるにもかかわらず、文全体が単一のグローバルな表現として集約される過程で失われることが判明した。これは特に、文章の終わりを示す (EOS) トークンや、複数の表現を統合する平均プーリング（mean pooling）といった集約メカニズムにおいて顕著に見られたとされている。この発見は、VLMが情報を集約する際のメカニズムが、重要な空間的詳細を失わせる原因となっている可能性を示唆している。
研究チームは、広く利用されている複数のVLMアーキテクチャを対象に実験を行い、この問題が特定のモデルに限らず、VLM全般に共通する体系的な欠陥であることを明らかにした。彼らは、VLMが下流で使用される表現において、入力に明示的に存在する関係情報を保持していないと結論付けている。これは、VLMが空間的な推論を必要とするより高度なタスク、例えばロボットのナビゲーションや詳細な画像キャプション生成などにおいて、期待されるパフォーマンスを発揮できない可能性を示唆している。研究では、VLMの真の空間理解能力を向上させるための今後の研究開発の必要性が述べられている。
参考: arXiv cs.CL (アーカイブ) — 2026年10月10日 02:50 (JST)
原文ハイライト"Spatial Representations Fall Below Lexical Priors"