arXiv cs.CVは2026年10月22日(現地時間)、動的な4Dシーンで複雑な自然言語参照をグラウンディングする新タスク「Referring 4D Gaussian Splatting (R4DGS)」に関する研究論文を発表した。研究では、構造化クエリ注釈付きベンチマーク「R4D-Bench-QA」と、トレーニング不要の参照推論を可能にする統合フレームワーク「ReferGaussian」を導入し、その有効性を示している。
4D Gaussian Splatting (4DGS)に基づく動的表現は、シーンの再構成とレンダリングにおいて強力な能力を示してきましたが、既存の手法は、時間とともに変化する動的なシーンにおける複雑な自然言語参照のサポートにおいて限界を抱えています。現在の4D Gaussian手法は主にレンダリング指向の動的モデリングを目的としており、セマンティック拡張はシーン固有のセマンティック最適化に依存するか、比較的単純なクエリ設定で評価される傾向があります。
本研究は、これらの課題に対処するため、時間的に変化する複数ターゲットや推論集約的な表現、さらにゼロターゲットや妨害表現を動的な4Dシーン内でグラウンディングするタスク「R4DGS」を新たに定義しました。このタスクをサポートするため、研究チームは大規模なベンチマークである「R4D-Bench-QA」を開発。これは多様な動的シーンにおける構造化クエリ注釈を備えており、複雑な参照課題の評価を可能にします。また、研究者らは「ReferGaussian」と呼ばれる統合フレームワークを提案しています。
ReferGaussianフレームワークは、既存の4DGSの上に構築され、低レベルの動的Gaussiansを永続的で言語によってアドレス可能なエンティティへと変換します。これは、マスクに対応したGaussianエンティティをEntityBankに整理することで実現されます。さらに、Multimodal Large Language Models (MLLMs) を活用し、複雑なクエリを追跡可能なオブジェクトフレーズと構造化された参照制約に分解します。このアプローチにより、シーン固有のセマンティック最適化を必要とせず、制約を認識したグラウンディングを実行することが可能となります。
R4D-Bench-QAおよび4D LangSplatプロトコルを用いた実験では、ReferGaussianがその有効性を実証しました。具体的には、シーン固有のセマンティックトレーニングなしで、時間的ターゲット選択の改善と競争力のある時空間グラウンディング性能が確認されています。本論文は、コンピュータグラフィックスとマルチメディア分野の主要会議であるACM Multimedia 2026で採択されました。
参考: arXiv cs.CV (アーカイブ) — 2026年10月23日 13:00 (JST)