arXivは10月27日(現地時間)、フィードフォワード3D再構築の新たなモデル「Any3R」を発表した。Jingong Chen氏らによるこの研究は、既存のジオメトリ基盤モデルが持つピンホール画像への依存という制約を克服。レンズタイプ、歪み係数、視野角といった制約なしに、あらゆる中央カメラから高精度な3D再構築を可能にする画期的な進展を示す。
従来のジオメトリ基盤モデルは、カメラの姿勢と高密度なジオメトリをフィードフォワードネットワークから復元するものの、その設計はピンホール画像を前提としていた。この前提は、位置エンコーディングや学習損失において、画像位置を空間内の方向と結びつける際にレンズに依存する設計が原因であり、広範なカメラタイプへの適用を制限していた。
「Any3R」はこの問題を解決するため、各ピクセルを通る単位方向を記述する「dense ray field」に基づいて条件付けを行う。このアプローチにより、特定のレンズタイプや歪み係数、または視野角の範囲に縛られることなく、あらゆる中央カメラを記述することが可能となる。具体的には、位置エンコーディングには角度座標を、点損失には立体角重み付けを適用することで、エンコーディングと教師あり学習の両方において、レンズに依存しない設計を実現している。
このモデルは、カメラの内部パラメータや外部パラメータを事前に入力として与える必要がなく、直接画像を解析して3D情報を再構築する。これにより、キャリブレーションされていないカメラや、未知のレンズ特性を持つ画像データに対しても適用できる汎用性を持つ。また、同一シーン内で多数の異なるカメラタイプが混在していても、個々のレンズタイプごとにモデルを再トレーニングする必要がなく、堅牢に機能する点が特筆される。
研究チームは、13種類の中央カメラと3つの多様なデータセットを用いた広範なベンチマークにおいて、「Any3R」の性能を検証した。その結果、「Any3R」は他の既存手法と比較して、最も一貫して高精度な3D再構築を達成したことが示されている。これは、幅広いユースケースでの実用化に向けて重要な成果と言える。
「Any3R」の導入は、クラウドソースで収集された画像や、多様なカメラタイプで撮影されたアーカイブ画像コレクションからのスケーラブルな3D再構築を可能にする。これにより、例えば文化遺産のデジタルアーカイブ、地理空間マッピング、ロボットビジョン、拡張現実 (AR) など、多岐にわたる分野での応用が期待される。特に、専門的な機材がなくてもスマートフォンなどの汎用カメラで撮影された画像から高精度な3Dモデルを生成できる可能性は、3D再構築技術の民主化に貢献する。
参考: arXiv cs.CV — 2026年10月28日 13:00 (JST)