Yiwen Chen氏らの研究チームは2026年8月18日(現地時間)、オンライン学術論文リポジトリ「arXiv cs.CV」に掲載された論文で、新たな3Dリライティングフレームワーク「LumiTokens」を提案したと見られる。従来の3Dリライティング手法が新しい照明条件ごとに完全な再計算を必要とするのに対し、LumiTokensは3Dリライティングを潜在的なシーントークンへの直接変換として定式化していると説明されている。この手法は、明示的な3D表現やレンダリング方程式、物理ベースの分解を必要としない点を特徴とする。
LumiTokens (ルミトークンズ)は、3Dオブジェクトの照明を柔軟かつ効率的に変更することを目指したフレームワークである。従来の技術では、照明環境を変更するたびに、オブジェクトの複雑な3D形状やマテリアル特性を考慮したレンダリングプロセス全体を再実行する必要があり、これが時間と計算資源の大きなボトルネックとなっていたと指摘されている。
この課題に対し、LumiTokensモデルは、Scene Token Editorを導入することで解決を図っている。このエディターは、シーンを構成する潜在的なシーントークンと、照明条件を表すライトレイトークンを、自己注意機構（self-attention mechanism）を介して共同で処理するとされる。この協調処理により、更新されたトークンが生成され、その後、このトークンからマルチビューで一貫性のあるリライティングされた画像がデコード可能であると提案されている。
多様な照明タイプに単一のインターフェースで対応するため、環境マップ、点光源、面光源を含む全ての照明信号は、Plucker rayトークンとしてパラメータ化されると説明されている。このアプローチにより、明示的な空間構造を持たない表現でありながら、ネイティブな3Dユーザーインタラクションが可能になると考えられる。これは、ユーザーが直感的に照明を操作できるインターフェースを提供する上で重要な要素とされる。
この設計は、漸進的なリライティングをサポートするように設計されている。エディターの出力が入力と同じ潜在空間に留まるため、ユーザーは一度に一つの光源を追加していく形で、照明を段階的に構築することが可能であると見られる。各編集はトークン空間内で合成されるため、リアルタイムに近いフィードバックが得られる可能性が指摘されている。
実験では、LumiTokensが他の既存方法と比較して同等または優れたリライティング品質を達成し、同時に漸進的かつ構成可能なライティング編集をサポートすることが示されている。これにより、アーティストやデザイナーが複雑な3Dシーンの照明をより効率的かつ創造的に操作できる新たな道が開かれると期待される。論文は、この技術が将来的に、仮想現実（VR）や拡張現実（AR）アプリケーション、映画制作、ゲーム開発など、多岐にわたる分野での3Dコンテンツ制作プロセスを革新する可能性を秘めていると示唆している。
参考: arXiv cs.CV (アーカイブ) — 2026年8月20日 13:00 (JST)
原文ハイライト"LumiTokens: 3D Relighting via Token-Space Lighting Transformation"