Muhammed Izzet Sezer (ムハメッド・イゼット・セザー) 氏らは11月12日(現地時間)、マルチビュー3Dトランスフォーマーの訓練不要な高速化手法「Regime-AWare ATTention Approximation (RAWATTA) (ラワッタ)」を提案する研究論文を発表しました。VGGTなどのマルチビュー3Dトランスフォーマーは、未知のポーズを持つ画像群からシーンを再構築する際、グローバルアテンションの計算コストが画像数に比例して二次的に増加することが課題でした。

マルチビュー3Dトランスフォーマーは、単一のフォワードパスでカメラポーズ、深度、3D点を予測し、シーンを再構築する技術です。しかし、そのグローバルアテンションの計算コストは、入力される画像数に対して二次的に増加するという問題がありました。大規模言語モデル (LLM) から応用された既存の高速化手法では、これらのマルチビュー3Dトランスフォーマーにおいて精度低下や速度改善の不足が生じることが指摘されていました。

ムハメッド・イゼット・セザー氏らの研究チームは、3つのマルチビュー・トランスフォーマーのグローバルアテンションについて、7つのデータセットを用いて分析を行いました。その結果、各レイヤーが「シーン全体の平均化」「多数の画像間の点マッチング」「最初の画像への固定」という3つの役割のいずれかを担っていることを発見しました。この分析に基づき、訓練不要で動作するRAWATTAを提案しています。RAWATTAは8-bit精度でアテンションを実行し、最悪ケースのキャリブレーションチェックが必要なレイヤーでのみ16-bit精度を保持します。

RAWATTAには高速設定版の「RAWATTA-Fast」も存在します。このバージョンでは、一部の平均化および固定レイヤーでアテンションを近似し、マッチングレイヤーと最初の画像では全てのキーを維持します。12 GB GPUを使用し50画像を処理する試験において、RAWATTAはVGGTをリリース済みコードよりも高速に実行し、ポーズ精度 (AUC@3) はどのデータセットにおいても最大1点の低下にとどまりました。これは主に開発されたCUDAエンジンによるものとされています。RAWATTA-Fastはさらに高速である一方で、精度は若干低いことが示されました。どちらの手法も200画像の処理が可能であり、リリース済みコードが100画像でメモリ不足に陥るのに対し、メモリ効率の改善が見られました。


参考: arXiv cs.CV (アーカイブ) — 2026年11月16日 14:00 (JST)

原文ハイライト

"Training-Free Acceleration of Multi-View 3D Transformers via Regime-Aware Attention Approximation"

この記事をシェア
X はてブ LinkedIn