Tianjiao Yu氏らは7月7日(現地時間)、統一された3D基盤モデル「ELSA3D」に関する論文をarXiv cs.CVで公開した。同論文は、「Elastic Semantic Anchoring」という独自の手法を採用。言語的推論と幾何学的推論を抽象化スケールに合わせて共同で構造化することで、従来のテキストと3Dアセット間の暗黙的な相互作用が抱えていた課題の解決を目指す。3Dコンテンツの生成と理解を高度化する可能性を示唆している。
既存の統一3D基盤モデルは、3Dアセットの生成と言語による推論を目的としている。しかし、これまでテキストと3Dの相互作用は主に暗黙的であり、従来の方式ではテキストと3Dトークンを単一の平坦なシーケンスに連結し、自己アテンションに依存していた。これにより、粗い構造的特徴と微細な幾何学的詳細が区別のない表現に統合されるという課題があった。
「ELSA3D」は、この課題に対処するために開発された。同モデルは幾何学をスケール認識型オクトリートークナイザーで表現し、「Anchor Tokens」と呼ばれるスパースなクロスモーダルユニットを導入する。これらのAnchor Tokensは、セマンティックな手がかりを選択し、最も関連する3Dスケールにルーティングする機能を持つ。その後、スケール固有の幾何学的証拠を取得し、融合された信号を統一表現に書き戻すことで、相互作用をスパースかつ正確に維持する。
軽量なブロックごとのルーターは、計算と推論の両方において柔軟性をもたらすと説明されている。これにより、どのテキストトークンがどの幾何学的スケールでアンカーをインスタンス化するかを選択できるようになり、クロスモーダル容量がアライメントが最も必要とされる場所に集中することが可能となる。
ELSA3Dは、画像から3Dへの生成、テキストから3Dへの生成、および3Dキャプションのタスクにおいて、最先端の性能を達成した。最も強力な統一ベースラインを上回り、同じモデルの非弾性バージョンと比較して、FLOPs（浮動小数点演算回数）と推論レイテンシを約半分に削減したと報告されている。
この研究論文は、Tianjiao Yu、Xinzhuo Li、Yifan Shen、Onkar Susladkar、Yuanzhe Liu、Xiaona Zhou、Ismini Lourentzouによって執筆され、arXiv cs.CVに公開された。
本研究は、3D生成AIの分野に新たな技術的アプローチを提示した。ELSA3Dは、テキストと3Dアセット間のより効率的かつ正確な相互作用を実現することで、既存の3D統合モデルが抱える課題に対し、新たな解決策を提供するものと見られる。特に、計算効率の改善は、複雑な3Dコンテンツの迅速な生成と編集を可能にする。
参考: arXiv cs.CV — 2026年7月8日 02:59 (JST)