Apple ML Researchは2026年8月(現地時間)、リライタブルな3Dアセット生成手法「ルーチェ (Luce)」を発表した。このルーチェは、高忠実度で単一画像からの3D生成を可能にするため、幾何形状とPBR (Physically Based Rendering) マテリアルを、ボクセル化されたマルチモーダルなガウシアンクラウド内で統一する。専用のガウシアンプリミティブを用いて各モダリティを表現することで、既存手法を上回る品質を実現する。
ルーチェは、アルベド、メタリック-ラフネス、サーフェスノーマルといったPBRモダリティに対応しており、標準的なレンダリングパイプラインへのシームレスな統合をサポートする。この技術の中心にあるのは、表現されたPBRモダリティをマテリアル対応の統一された潜在空間に圧縮するために、変分オートエンコーダー (variational autoencoder) を用いる点である。
この潜在空間は、事前に学習された画像エンコーダーから得られる多層特徴に基づいて、単一画像からrectified-flow transformerによって生成される。その後、この潜在空間は、リライタブルなPBRガウシアンへとデコードされる。さらに、オプションとして、タンジェント空間法線マップ付きのテクスチャメッシュへのデコードも可能であり、これにより多様な用途に対応する高品質な3Dアセットが生成される。
ルーチェの性能は、Toys4Kデータセットにおける単一画像から3D生成の評価において明確に示されている。既存の強力なベースラインと比較して、ルーチェはFIDスコアを28%改善し、最先端の結果を達成した。FIDスコアの改善は、生成された画像がよりリアルで多様であることを示唆しており、単一の入力画像から高品質な3Dアセットを生成する能力が飛躍的に向上したことを意味する。
また、AI生成画像のベンチマークでは、CLIP画像アライメントスコアでベースラインの0.8299を大きく上回る0.8519を記録している。これは、生成された3Dアセットが入力画像の特徴や意味内容をより忠実に保持していることを示し、特にテクスチャ、ロゴ、銘刻といった細かいディテールを正確に再現する能力が際立っていることを裏付けている。
ルーチェによって生成されるアセットは、リライタブル（再照明可能）であるため、様々な照明条件下でのレンダリングが可能となり、ゲーム開発やAR/VRコンテンツ制作において高い柔軟性を提供する。また、幾何学的に正確であり、PBRマテリアルに忠実であるため、建築ビジュアライゼーション、製品デザイン、Eコマースにおけるインタラクティブな商品表示など、多様な産業分野での応用が期待される。特に、テキスト、ロゴ、銘刻といった細部を保持できることは、ブランドイメージを正確に伝える上で非常に重要な要素となる。
参考: Apple ML Research (アーカイブ) — 2026年8月26日 09:00 (JST)
原文ハイライト"Luce generates relightable, geometrically accurate, and materially faithful assets that preserve fine details"