huggingface.coが2026年11月5日(現地時間)付けで報じたところによると、研究者らは「Spatial-Language-Action (SLA) モデル」を開発した。このモデルは、継続事前学習を通じて暗黙的な空間整合をスケーリングし、下流の事後学習中もその整合性を維持する。このアプローチにより、異種ロボットデータセットからの学習が可能となる。
本研究は、信頼性の高いロボット操作に求められる三次元空間における意味的理解と精密な制御を目的としている。既存のビジョン・言語・行動 (VLA) 基盤モデルは、2Dビジョン・言語事前学習から視覚表現を継承する傾向があり、空間監視はタスク固有の適応時に導入されることが多かった。
SLAモデルは、事前学習済みの「pi05 policy」から初期化され、アクション予測と、中間視覚埋め込みと凍結された3D知覚モデルからの空間表現との間の整合性を共同で最適化する。研究チームは、多様なロボットの具現化、タスク、シーンにわたる空間学習をサポートするため、異種ロボットデータセットをキュレートし、統合した。
この多様性に対応するため、SLAモデルは特徴量依存型ゲートを導入している。これにより、複数のVLA層からの視覚埋め込みを適応的に集約し、空間監視を可能にする。また、このモデルは部分的に利用可能な深度情報やカメラキャリブレーション情報をRGB観測と併せて活用し、異種幾何学的アノテーションの効果的な利用を実現している。確率的状態ドロップアウトを導入することで、視覚的ヒントへの依存を促し、デモンストレーション軌道への過学習を軽減する。これらの補助コンポーネントは訓練中にのみ使用され、事前学習済みのVLA重みを直接再利用し、元の推論アーキテクチャを保持することが可能である。
参考: huggingface.co (アーカイブ) — 2026年11月6日 06:13 (JST)
原文ハイライト"SLA, a Spatial-Language-Action Model that scales implicit spatial alignment to continual pre-training"