NVIDIAは2026年10月22日(現地時間)、自律走行車向けの統合型フィードフォワードモデル「Foundation4D」を発表した。本モデルはマルチカメラのドライビング映像から、幾何学的推定、3D物体検出、セマンティック占有率、ガウシアン再構築といった複数のタスクを処理する。共有バックボーンが時空間注意機構を活用し、カメラと時間軸にわたる観測データを効率的に統合する。また、カメラ軌道を高精度化するポーズグラフ最適化もビデオ推論パイプラインに組み込まれている。
NVIDIAが導入したFoundation4Dは、自律走行車が環境を認識し、そのシーンを再構築するための統一モデルとして機能する。このモデルは、密な深度とセマンティック占有率のラベルを含む1,253のドライビングクリップを対象としたベンチマークPAI-Foundation4Dと共に公開された。
ベンチマーク専用のファインチューニングを適用した結果、Foundation4Dは、WaymoとnuScenesのデータセットで最低の深度AbsRelを達成し、nuScenesでは最高の検出mAPを、OpenOccupancyでは最高の占有率mIoUを記録した。
タスク組み合わせに関する研究では、検出と幾何学的推定の両方に利点があることが示された。検出と幾何学的推定、占有率を共同で学習させることで、検出のみの学習に比べてトップクラスのmAPが1.2ポイント向上した。また、幾何学的推定と検出を共同で学習させることにより、幾何学的推定のみの学習と比較して、カメラからリグへの並進誤差が相対的に13.4%削減された。さらに、予測された幾何学的情報と軌道は、lidarless NuRecの事前情報として活用され、シミュレーション目的のドライビングシーン再構築を支援する。
参考: arXiv cs.CV — 2026年10月23日 13:00 (JST)
原文ハイライト"We introduce Foundation4D, a unified feed-forward model for geometry estimation, 3D detection, semantic occupancy"