arXivは10月15日(現地時間)、論文「GeoState: Learning View-Decoupled Geometry States for 3D World Modeling」を公開した。この論文は、ジオステート (GeoState) と呼ばれる新たな手法により、3D世界モデルの予測精度を向上させることを目指している。特に、既存の幾何学的基盤モデル (GFMs) が持つ視点依存性の課題に対処し、シーンの動的変化とカメラによる変動が絡み合うことで生じる予測困難性を解決する。
GeoStateの論文は、予測的な3D世界モデリングにおいて、シーンの状態進化をカメラに依存する観測から効果的に分離する視点非依存の幾何学的表現を提案している。従来の3D世界モデルでは、幾何学的基盤モデル (GFMs) が抽出する特徴が視点に依存するため、シーンの真の動的変化とカメラの動きによる見かけ上の変動が混ざり合い、将来の状態を正確に予測することが困難であった。
この課題に対し、GeoStateは独自のアーキテクチャを採用している。具体的には、シーン・ト-クナイザー (Scene Tokenizer) が複数の視点から得られたGFM特徴を集約し、それらを統合することで視点から独立したシーン状態を生成する。生成された視点非依存のシーン状態は、ジオメトリ・デコ-ダ- (Geometry Decoder) がカメラ・レイ (Camera Ray) を用いてクエリ (Query) を実行することで、任意の視点からのシーンを再構築できるよう設計されている。このプロセスにより、モデルはカメラの視点に惑わされることなく、シーン本来の幾何学的構造と変化を把握することが可能になる。
GeoStateは、自己回帰型世界モデル (Autoregressive World Model) のフレームワーク内で機能し、将来のシーン状態を予測する一方で、カメラモーションは独立してモデリングされる。この分離設計は、予測された状態が、予測されたカメラモーションまたは外部から指定されたカメラモーションのいずれの下でも柔軟にデコ-ドできるという重要な利点をもたらす。さらに、フレームごとのスケール調整を必要とせず、展開全体を通じて単一のコンテキスト由来のスケールを維持できるため、時間的な一貫性が大幅に向上する。
提案されたGeoState手法の有効性は、広範な実験によって検証されている。Waymoデータセットを用いた評価では、GeoStateが既存の3D世界モデルを上回る優れた性能を示した。このことは、視点非依存の表現が、現実世界の複雑な環境における予測精度を大幅に向上させる可能性を裏付けている。加えて、GeoStateは幾何学的に一貫したクロスビュー・クエリ (Cross-view Query) をサポートし、KITTIおよびnuScenesデータセットに対するゼロショット汎化能力 (Zero-shot Generalization Capability) を有することが示された。これらの結果は、GeoStateが多様なシナリオや未知の環境においても高い適応性と堅牢性を持つことを示唆している。本研究の著者には、Hongchang Liu氏、Jian Liu氏、Yujuan Ding氏、Liang Peng氏、Xun Jiang氏らが名を連ねている。
参考: arXiv cs.CV — 2026年10月16日 02:56 (JST)