学術論文投稿サイトarXivは8月31日(現地時間)、ビジョン言語モデル（VLM）の低レベル操作における性能ボトルネックに関する研究論文を公開した。Sarthak Sattigeri氏らによるこの論文は、VLMがオブジェクトのどの部分に作用すべきかを特定する「パーツの特定（part grounding）」能力に課題があることを指摘。実験では、ターゲットパーツを明示的に指定することで、モデルのアクション精度が大幅に向上することが示された。
本研究は、ビジョン言語モデル（VLM）が低レベル操作の推論を苦手とする現状に対し、その原因を究明することを目的としている。研究著者らは、アフォーダンス（ある環境が動物や人間に提供する行為の可能性）に関する質問が、オブジェクトのどの部分に作用すべきかの特定と、その部分が要求するアクションの知識という2つのステップを混同していると分析した。
研究チームは、19種類の関節を持つオブジェクトを用い、3つの開発元から提供された8つのモデルに対し、ロボットが適用すべき動きを尋ねた。オープンなプロンプトでは、「push」（押す）アクションが正答すべき64回の評価中1回しか生成されなかった。これは、モデルが採点対象のパーツとは異なる部分を記述する傾向があったためと説明されている。例えば、カメラのボタンを押す代わりに、カメラを「拾う」方法を説明するような誤りが確認された。
しかし、ターゲットパーツの名前を明示的に指定すると、全モデルにおいてアクション精度が0.32から0.63向上し、元々の0.158〜0.474から0.684〜0.947へと改善した。「push」の再現率も0〜1/8から7〜8/8へと大幅に上昇している。オープンプロンプトでは画像情報を無視した定数回答にどのモデルも勝てなかったが、パーツが明示されると8モデルすべてが定数回答を上回った。また、ラベルセットなしで同じパーツを自由記述させた場合でも、8モデル中6〜8モデルが「押し込み」に関連する表現を生成した。
これらの結果は、VLMの低レベル操作における性能不足が行動知識（action knowledge）の欠如によるものではなく、「パーツの特定」が主要なボトルネックであることを強く示唆している。このパターンは、テストされた3つのモデルファミリーすべてに共通しており、モデルの能力向上によっても解消される兆候は見られない。
さらに、実写写真を用いた実験では、8モデル中3モデルしか定数ベースラインよりも把握点を正確に特定できず、レンダリングされたオブジェクトではどのモデルも特定できなかった。本研究では、測定誤差（定数ベースラインが0.929のスコアを出す閾値や、19オブジェクト中4つで誤っていたラベリングルール）も特定されている。本研究は、VLMが現実世界における物理的な相互作用をより効果的に行えるよう、今後のモデル開発における具体的な改善点を示唆している。
参考: arXiv cs.CV — 2026年9月15日 13:00 (JST)
原文ハイライト"Part Grounding, Not Action Knowledge: Locating the Bottleneck in VLM Affordance Prediction"