arXiv cs.CVは2026年10月29日(現地時間)、ビジュアル基盤モデルが外界の空間状態を表現し、それを行動の指針とできるかについて検証した研究論文「ビジュアル基盤モデルにおける空間状態表現のプロービング (Probing Spatial State Representations in Visual Foundation Models)」を公開した。複数の研究者が、人間の空間知覚が個別の画像認識を超えて持続的な空間状態を必要とすることに着目し、静的な屋内環境における自己中心的な観測下で、フローズン特徴プローブを用いて10種類の表現におけるモデルの空間能力を評価した。
この研究は、バイチャオ・イン (Baiqiao Yin) 氏、ジョンガン・ツァイ (Zhongang Cai) 氏らが執筆した論文ビジュアル基盤モデルにおける空間状態表現のプロービング (Probing Spatial State Representations in Visual Foundation Models)として発表された。研究チームは、モデルの空間能力を空間構造、オブジェクト永続性、予測的な空間更新、行動可能性の四つのレベルに分類し、それぞれについて分析を実施した。
分析の結果、能力プロファイルはタスク、ネットワーク層、プレフィックス長によって異なることが判明した。可視シーンの強力な読み取り能力が、必ずしも正確なオブジェクト永続性や未来特徴の取得を保証するものではないと報告されている。また、ネイティブな未来予測はリカバリー可能な空間構造を保持するものの、実特徴で訓練された空間リーダーが予測特徴にそのまま転移するわけではないことも示された。
さらに、目標依存の候補選択が信頼性のある連続的な行動効用を確立するものではないとも指摘している。予測された行動は目標の変化に反応するものの、正しい目標が与えられても、必ずしも進捗を確実に改善するとは限らないという。四つのレベル全体を通じて、オブジェクト永続性と行動可能性はカメラポーズの読み取りに基づいて構築される一方、特徴予測は可視シーンの読み取りに基づいて構築されることが明らかになった。これらの発見は、空間表現の評価において、単にそこから何がデコードできるかだけでなく、その情報が観測を超えて維持され、予測的に更新され、目標指向の行動に利用されるかという観点も重要であることを示唆している。
参考: arXiv cs.CV — 2026年10月30日 02:58 (JST)