Apple ML Researchは2026年7月6日(現地時間)、連続拡散 (CD) 型音声言語モデル (SLMs) のスケーリング特性に関する研究結果を発表しました。本研究は、従来の離散自己回帰 (AR) 型SLMsが抱える計算およびデータ要件の課題に対応し、CD SLMの実行可能性を検証。言語的品質を定量化する新たな評価指標として音素イェンセン・シャノン・ダイバージェンス (pJSD) を導入し、CD SLMが検証ロスとpJSDにおいてスケーリング則を示すことを明らかにしました。効率的な高品質音声生成モデル開発への道筋を示すものと見られています。
Apple ML Researchが発表した連続拡散 (CD) 型音声言語モデル (SLMs) のスケーリング特性に関する研究は、音声AI開発における新たなアプローチを提示しています。従来の離散自己回帰 (AR) 型SLMsは、高精度な音声生成を実現するために膨大な計算リソースと大規模なデータセットを必要とし、推論速度にも課題を抱えることが指摘されていました。これに対し、CD SLMは連続空間で音声をモデリングすることで、より効率的な学習と高速な推論の可能性を秘めていると指摘されています。
本研究では、言語的品質を客観的に評価するため、新たな指標として音素イェンセン・シャノン・ダイバージェンス (pJSD) を導入しました。このpJSDは、生成された音声がターゲット音素分布とどれだけ乖離しているかを定量化するもので、音声AIの品質評価において、より細やかな言語的正確性を測定するのに貢献すると期待されます。研究チームは、CD SLMが計算量とデータセットの増加に伴い、検証ロスおよびこのpJSDにおいて明確なスケーリング則を示すことを発見しました。
具体的には、計算量が増加するにつれて最適なトークン対パラメータ比が減少する傾向が確認されました。これは、モデルの効率性が向上することを示唆しています。さらに、ある一定の閾値を超えると、ロスがデータおよびモデルサイズの選択に鈍感になる領域が存在することも判明しました。この知見は、モデル設計と学習戦略において、効率的なリソース配分の指針となり、高速な推論を実現する潜在的な可能性を示唆しています。
研究では、160億 (16B) パラメータを持つCD SLMを数千万時間 (tens of millions of hours) の会話データでスケーリングしました。その結果、感情表現、韻律、多話者、多言語に対応する音声生成が可能になったと報告されています。この成果は、AIアシスタント、音声合成、多言語翻訳など、多岐にわたる応用分野において、より自然で表現豊かな音声インターフェースを実現する可能性を秘めていると指摘されています。
CD SLMは、AR型SLMが一般的に直面する推論時の逐次生成に伴う遅延や、潜在空間の離散性による表現能力の限界といった構造的差異を克服し得るアプローチです。連続的な拡散プロセスを用いることで、より滑らかで多様な音声生成が可能となり、特に低遅延での応答が求められるリアルタイムアプリケーションでの実用性が高まると見られています。一方で、長尺の音声における首尾一貫性 (long-form coherence) の達成は、依然として重要な課題であると指摘されており、今後の研究の焦点となる可能性があると指摘されています。
この研究は、音声AI開発の実務者に対し、新たなモデルアーキテクチャの選択肢と、スケーリング法則に基づく効率的なモデル開発戦略の重要性を示すものと指摘されている。本研究は、会議Interspeechで発表された。
参考: Apple ML Research — 2026年7月6日 09:00 (JST)