ケビン・クオ (Kevin Qu)氏らは9月17日(現地時間)、オンラインプレプリントリポジトリarXivを通じ、疎な点群観測から3D関節オブジェクトの挙動をモデル化する新しいフィードフォワードモデル「FAMOS（ファモス）」に関する研究論文を発表した。このモデルは、部分的な点群の疎で順序付けされていないセットから、可動部品のセグメンテーションと関節パラメーターを予測する。単一のビューを含む可変数の入力を自然にサポートし、複数の観測を共同で推論する能力を備えている。
FAMOS（ファモス）は、各観測が部分的な形状とモーションの証拠しか明らかにしないため、疎な単眼ビューから関節オブジェクトをモデリングすることが困難であるという長年の課題に対応するために開発された。既存の多くのフィードフォワード手法は、通常、単一の観測から関節を推論する傾向があり、学習されたカテゴリレベルの形状事前情報に大きく依存している点が指摘されていた。このため、広範なシナリオや複雑なオブジェクトへの適用には限界があった。
FAMOSの核心技術は、複数の観測全体で関節の情報を効果的に集約することを目的としたMulti-state Articulation Transformerの導入にある。このTransformerは、状態ごとのアテンションとグローバルアテンションを交互に適用することで、異なる観測から得られる部分的な情報を統合し、より包括的な関節状態の理解を可能にする。この構造により、モデルは断片的な情報から全体像を再構築する能力を向上させている。
さらに、研究者らはモデルが完全な観測セットの潜在能力を最大限に活用することを促す新しい学習目的関数としてobserved articulation span objectiveを提案している。この目的関数は、入力観測全体で各部品が示す動作範囲を監視し、モデルがより正確かつ堅牢な関節予測を行うよう誘導する。これにより、モデルは単一の瞬間的な観測だけでなく、時間的または空間的に連続した複数の観測から得られる動的な情報を利用して、より現実的な関節動作を捉えることができる。
既存の3D関節オブジェクトデータセットの規模と多様性には限界があり、大規模なモデルの訓練には不十分であるという課題も存在した。これを克服するため、FAMOSの開発チームは訓練中に自己アノテーションされたアセットを合成する「手続き型データジェネレーター」を導入した。このジェネレーターは、多様な形状と関節構成を持つオブジェクトを自動的に生成し、現実世界に即した豊富なデータセットを提供することで、モデルの汎化能力を大幅に向上させている。
FAMOSは、PartNet-Mobility、ACD、およびArtiCraft-10Kといった既存の主要なデータセットで広範な実験と評価が行われた。その結果、FAMOSは既存のフィードフォワードベースラインおよび最適化ベースラインの両方に対して一貫して優れた性能を示した。この成果は、疎な点群観測からの3D関節オブジェクトモデリングにおける重要な進歩を意味し、ロボット工学、仮想現実、コンピュータグラフィックスなどの分野における応用可能性が期待される。
参考: arXiv cs.CV (アーカイブ) — 2026年9月18日 02:59 (JST)
原文ハイライト"Feed-Forward 3D Articulation Modeling from Sparse Observations"