文豪・リー (Wenhao Li) 氏らの研究チームは2026年7月23日(現地時間)、arXiv cs.CVに公開した論文で、既存のVision-Language Models (VLMs) が抱える3Dタスクでの課題を解決する新フレームワーク「VLM-IE3D」を発表した。VLM-IE3Dは、RGBビデオから学習した暗黙的および明示的な3D幾何学情報を取り入れることで、VLMsの3D空間認識能力を強化する。

VLM-IE3Dは、RGBビデオからの入力をもとに高レベルの幾何学的事前情報を捉えるImplicit Geometry Tokens (IGTs) と、再構築された3D属性から詳細な幾何学的構造をエンコードするExplicit Geometry Tokens (EGTs) を導入している。

さらに、VLM-IE3Dには、これら2種類の幾何学的表現を2D視覚情報と効果的に融合する3D対応アダプターが組み込まれている。このRGBのみの設計は、追加の3D入力なしで、きめ細かな空間理解と推論のための強力な3D帰納的バイアスを注入する。

広範な実験では、VLM-IE3Dが3Dビデオ検出、3Dビジュアルグラウンディング、3D高密度キャプショニング、空間推論といった多岐にわたる3Dタスクにおいて一貫して優れた性能を示すことが確認された。本研究はECCV 2026で受理され、コードとモデルはオープンソースで公開されている。

参考: arXiv cs.CV (アーカイブ) — 2026年7月24日 02:59 (JST)

原文ハイライト

"enhances the 3D spatial awareness of VLMs by equipping them with both implicit"

#VLM-IE3D #Vision-Language Models #VLMs #IGTs #EGTs #Computer Vision
この記事をシェア
X はてブ LinkedIn