Latchan Chhetri氏ら研究者グループは2026年11月17日(現地時間)、水中シーンから水を物理ベースで除去する新しい3Dフレームワーク「NIRJALA」を発表した。この手法は、水の影響を受けていない外観と幾何学的形状を同時に復元することを目的としている。特に、従来の水中ガウシアン・スプラッティング (Gaussian Splatting) が抱えていた逆問題におけるゲイン発散を抑制する点が特徴だ。
サンスクリット語で「水なし」を意味する「NIRJALA」は、水中写真が単に色合いを変えるだけでなく、ピクセルが減衰したシーン輝度、後方散乱光、そしてカメラに向かう途中で前方に散乱したシーン光の混合によって再構築されるという認識に基づいている。
既存のガウシアン・スプラッティング手法は通常、最初の2つの効果のみをモデル化し、距離に応じて指数関数的に減衰する透過率で割ることで水を除去する。しかし、このアプローチは逆問題のゲインが無限に増大するという問題を引き起こしていた。このゲイン発散は、特に光の減衰が大きいシーンや、長距離の復元において深刻な問題となる。
NIRJALAは、この問題を解決するために複数のコンポーネントを導入している。まず、「TRIVENI」と名付けられた三経路画像形成モデルは、直接透過と後方散乱に加え、距離飽和型前方散乱項を追加する。これにより、あらゆる距離で逆ゲインが有界に保たれることが理論的に証明されている。TRIVENIはさらに、推定された後方散乱と減衰の誤差が復元される色にどのように伝播するかについても範囲を定めており、復元結果の堅牢性を高めている。
次に、「PRATIBIMBA」という可逆物理アンカーは、柔軟なニューラル水モデルを10パラメータの物理モデルと双方向に結合させる。これにより、シーンコンテンツが水の中に隠れてしまうことを防ぎ、より正確な水除去を可能にする。このアンカーは、推定された水パラメータが物理的に整合していることを保証しつつ、ニューラルモデルの表現力を活用する。
さらに、「SAMARASA」は、距離分割された色に関する事前分布を含む、物理情報に基づく目的関数群を収集する。これにより、水の影響を受けた環境で高品質なシーンコンテンツを生成するための損失関数が最適化され、復元された画像と幾何学的形状のリアリティが向上する。
研究チームは、水除去の性能を客観的に評価するため、グラウンドトゥルース(正解データ)を持つテストスイート「SAJALA」(サンスクリット語で「水あり」を意味する)を構築した。SAJALAはBlender Cyclesでパス・トレーシングされた30シーンで構成され、水なし画像、深度、法線が制御された水の濁度と色で用意されている。SAJALAでの評価において、NIRJALAは最も強力なベースラインと比較して、画質評価指標であるPSNRを24.34dBから24.76dBに向上させ、深度推定の誤差を示すAbsRelを0.109から0.091に低下させた。実世界のSeaThru-NeRFシーンでは、知覚品質指標LPIPSを0.194から0.175に低下させながら、44FPSでレンダリング可能であると報告されている。
参考: arXiv cs.CV (アーカイブ) — 2026年11月19日 14:00 (JST)
原文ハイライト"Draining the Sea out of Gaussian Splatting with Three-Path Optics and Reversible Physics"