Ashim Dahal氏ら研究者グループは2026年11月17日(現地時間)、動的なマルチビュー動画からFree Viewpoint Video (FVV) をオンラインで再構築する新たなストリーミング3D Gaussian Splatting (Streaming 3DGS) フレームワーク「OCLDA-GS」を発表した。この手法は、従来のストリーミング3DGSが抱えるオブジェクト固有の動きの見落としや、オブジェクト境界付近での不整合といった課題に対処する。オブジェクト中心のアプローチにより、精密なオブジェクト境界と小規模な変形補正を可能にする。

OCLDA-GSは、Ashim Dahal氏、Nikesh Subedi氏、Rabab Abdelfattah氏、Nick Rahimi氏らによって提案された研究で、動的なマルチビュー動画からFree Viewpoint Video (FVV) をオンラインで再構築するためのStreaming 3D Gaussian Splatting (Streaming 3DGS) フレームワークである。この研究は、従来の時空間効率の高い手法が持つ課題、すなわちアンカーガウスのサブセット選択と近傍補間を利用する際にオブジェクト固有の動きを見落とし、オブジェクト境界付近に不整合を生じさせる可能性に対処することを目指している。

本フレームワークは、オブジェクトと動きを認識するガウスアンカーを動的に再割り当てするオブジェクト中心のアプローチを採用している。これにより、大規模な動きをするオブジェクトに対してガウスアンカーサポートを割り当てると同時に、より精密なオブジェクト境界のためにガウス近傍をオブジェクトグループ内に制限することを可能にする。さらに、手などのオブジェクトごとの剛体変換を推定し、これらの推定値を利用して、シャツのしわのような小さな変形に対するアンカーごとの局所変形補正を学習する。

研究チームは、三つの動的マルチビュー動画データセットを用いて実験を実施し、既存のベースラインに対する改善と、リファインメントタイムステップ間の品質向上を示した。同一のリファインメント予算の下で、本手法はInstant Gaussian Stream (IGS) に対して、N3DVで0.169 dB、Meeting Roomで0.202 dB、Google Immersiveで+0.199 dBのPSNRを向上させた。また、N3DVで9.2%、Meeting Roomで13.8%のリファインメントタイムステップ間の平均PSNR低下を削減した。この成果は、arXiv cs.CVで発表された。


参考: arXiv cs.CV (アーカイブ) — 2026年11月19日 14:00 (JST)

この記事をシェア
X はてブ LinkedIn