シュザオ・シエ (Shuzhao Xie) 氏ら研究者らは9月29日(現地時間)、学術論文公開サイトarXivで、実世界の観測データからシミュレーション対応の3Dシーンを再構築するエージェント型フレームワーク「CoDimRecon (コーディムリコン)」に関する論文を発表した。同フレームワークは、従来の剛体オブジェクト中心の再構築技術に対し、変形可能なオブジェクトの忠実なシミュレーションを可能にする点が特徴だ。
CoDimReconは、多視点RGB観測データを用いて、剛体、関節体、そして変形可能なオブジェクトを含む、編集可能なシーンを再構築する技術である。このフレームワークは、まずシーンレベルの幾何学的事前情報から全体のスケールとレイアウトの基盤を確立する。次に、オブジェクトレベルで生成されるメッシュが、エージェントを詳細かつコンパクトな形状へと誘導する。特に、関節を持つ剛体オブジェクトに関しては、明示的なジョイントを持つ複数の可動部分へと細かく分解される設計となっている。
既存の3D再構築手法は、家具や建物といった剛体のオブジェクトの表現に強みを持つ一方、布地やロープ、あるいは液体の塊のように形状が容易に変化するオブジェクトの正確なモデリングとシミュレーションには課題を抱えていたと研究者らは指摘する。CoDimReconは、この課題に対し、変形可能なオブジェクトのモデリングに特化したカテゴリごとのエージェントセッションを導入することで解決を図る。具体的には、細長い物体を変形可能な「曲線」として、その中心線と半径を再構築する。薄い物体を「表面」として厚みを持つ多様体シェルとして表現し、固体は「体積」として体積メッシュ用の防水ソリッドとして再構築する。これにより、布のたわみ、ロープの絡まり、ゴムの弾性といった、複雑な物理的挙動をシミュレーション環境で再現することが可能になる。
さらに、CoDimReconは再利用可能なシミュレーターのスキルを活用し、互換性のある物理モデルとパラメーターを初期化する。エージェントが誘導する挙動テストを通じて、再構築されたモデルと現実の挙動との間に不一致がないかを検証する。このテスト結果に基づいて、動き、幾何学形状、数値、材料モデリングといった多角的な観点から、的を絞った修正を促すフィードバックループが組み込まれている。例えば、紙を折り曲げるシミュレーションでは、挙動テストが塑性曲げを正確に再現するようモデルを最適化する。
研究者らは、ReplicaおよびScanNet++のシーンを用いた評価を実施した。その結果、CoDimReconが、競争力のある構成的再構築精度を達成し、ロッド、シェル、ソリッドシミュレーションに利用可能な変形可能アセットを生成することを確認したと述べている。また、制御された紙折りケースを含む、これら3種類の表現全てにおいて、ロボットとのインタラクションを実証し、挙動テストが塑性曲げを動機づけることも示している。これらの結果から、同フレームワークが、複雑な物理的インタラクションを伴うロボットシミュレーションやバーチャル環境構築に新たな可能性が示唆されたと研究者らは指摘する。
参考: arXiv cs.CV — 2026年9月30日 13:00 (JST)
原文ハイライト"Agentic Reconstruction of Sim-Ready 3D Scenes with Deformable Curves, Surfaces, and Volumes"