Mistralは、ロボットの自律ナビゲーション向け初となるモデル「Robostral Navigate」を発表した。8Bパラメーターの同モデルは、単一のRGBカメラのみを使用し、深度センサーやLiDARなしで、R2R-CE検証済みベンチマークにおいて76.6%の成功率を達成。既存の単一カメラ手法を9.7ポイント、深度センサーや複数カメラを用いる最良システムを4.5ポイント上回る性能を示した。
Robostral Navigateは、RGB画像と平易な言語指示を受け取り、複雑な環境でロボットを移動させる。他のモデルが深度センサー、LiDAR、または複数のカメラを使用する中で、単一の一般的なRGBカメラのみで動作するのが特徴だ。この技術は、製造業、配送、物流、ホスピタリティといった分野で幅広い応用が可能となる。
モデルは完全にシミュレーションデータで訓練されており、現場の人々や障害物にも適応し、車輪型、脚型、飛行型ロボットなど多様なロボットの種類やサイズに汎化する。カメラの内部パラメーターの違いにも堅牢性を示す。
ナビゲーションは主にポインティングベースで行われる。ロボットの現在のカメラ視野内で目標位置の画像座標と到着時の望ましい向きを推測する。ポインティングが適用できない場合は、2メートル前進、1.5メートル左、25度左に旋回といったロボットのローカル座標フレームでの移動指示に切り替わる。Robostral Navigateは、既存のオープンソースVLMに依存せず、社内で開発された。約6,000シーンで収集された400,000の軌跡からなるデータセットを使用し、効率的なトレーニングアルゴリズムによってトレーニングに必要なトークン数を22分の1に削減した。さらに、オンライン強化学習アルゴリズムCISPOを活用することで、成功率を3.2%向上させている。
ミストラルはRobostral Navigateを、統一されたembodied agentに向けた第一歩と位置付けている。ナビゲーションは汎用ロボティクスにとって基礎的な能力であり、大規模シミュレーション、効率的なトレーニング、強力なグラウンディング事前知識の組み合わせにより、コンパクトなモデルと単一のRGBカメラで最先端のembodied navigationが実現できることを実証した。
この単眼カメラを用いたアプローチは、深度センサーやLiDARといった高価なハードウェアへの依存を低減し、ロボットシステム全体のコスト削減に繋がる。
参考: mistral.ai — 2026年7月9日 09:00 (JST)