arXivが2026年8月19日(現地時間)付けで報じたところによると、Leo Schmidt-Traub氏らは、残留ベクトル量子化（RVQ: Residual Vector Quantization）に基づくニューラルオーディオコーデックにおけるオーディオ再合成の課題に対し、「geometric iterative retrieval」（幾何学的反復検索）と呼ぶ新しいパラダイムを導入した。これは、粗いコーデックトークンからの高品質オーディオ再合成が未解決の問題であり、生成される全システムの忠実度を制限している現状に対応するものとしている。
ニューラルオーディオコーデックは、音響信号を効率的に表現するための離散トークンを生成し、そのトークンから元の音響信号を再合成することで、音声認識や生成、通信などの様々な応用分野で利用されている。しかし、粗い粒度のコーデックトークンから高品質なオーディオを再合成することは、長年にわたり困難な課題とされてきた。特に、再合成の品質が全オーディオシステムの忠実度を制限するボトルネックとなることが指摘されている。
従来のオーディオ再合成手法は、主に「離散トークン予測」と「連続回帰」という二つの異なるアプローチに大別されてきた。離散トークン予測は、再合成器がコーデックトークンを直接予測し、それを基にオーディオを生成する手法である。一方、連続回帰は、連続的な特徴表現を直接回帰することでオーディオを再構築する。しかし、Leo Schmidt-Traub氏らは、この二分法は、オーディオ再合成の複雑な課題を十分に捉えきれていないと主張している。
今回発表されたgeometric iterative retrievalの手法は、この既存のパラダイムを超越するものであり、残留ベクトル量子化（RVQ）レイヤー階層そのものを、連続コードブック空間における自然な反復分解として活用するという斬新なアプローチを取る。RVQは、オーディオ信号を複数のレイヤーにわたって量子化する手法であり、各レイヤーが信号の異なる側面や詳細を捉える。この新しい手法は、このRVQの多層構造を利用し、各レイヤーからの情報を反復的に洗練させることで、より忠実度の高い再合成を実現する。
具体的なプロセスとしては、従来の離散ボキャブラリ上での分類や単一のターゲットベクトルへの回帰とは異なり、コードブックの幾何学的空間内で対照的検索を実行する。これは、複数の候補の中から最適なコードブックエントリを幾何学的な類似度に基づいて繰り返し探索し、再合成の精度を高める仕組みである。各反復ステップにおいて、アルゴリズムはより詳細なオーディオ情報を徐々に回復し、最終的に元の信号に限りなく近い高品質なオーディオを生成することを目指す。
この新しいアプローチは、スピーチ（音声）と音楽の両方にわたる幅広いコーデック復元タスクで評価された。評価の結果、単一パスのトークン予測とワンステップ回帰の両方のベースライン手法と比較して、一貫した改善が示されたと報告されている。この性能向上は、特に情報量が少なく粗いコーデックトークンからでも、より豊かな音響情報を再構築できる可能性を示唆している。
「幾何学的反復検索」パラダイムの導入は、ニューラルオーディオコーデックの再合成における忠実度と効率性を大きく向上させるものと期待されている。これにより、低ビットレート環境での高品質な音声通信、リアルタイムでの音楽生成、より自然な合成音声の実現など、様々な応用分野での技術革新に貢献する可能性を秘めていると見られる。
参考: arXiv cs.SD — 2026年8月20日 02:29 (JST)