アイダル・ミルザハン (Aidar Myrzakhan) 氏とジチャン・シェン (Zhiqiang Shen) 氏の研究チームは2026年10月26日(現地時間)、拡散型大規模言語モデル (dLLMs: Diffusion large language models) の高速化を目指す新フレームワーク「dSpark」を提案した。この手法は、スケジュール蒸留 (schedule distillation) を用いてトークンの確定タイミングを学習し、並列サンプリングの効率を高めることで、dLLMsの応答完了にかかる時間を大幅に短縮する。
dSparkは、デコード過程の初期段階で不確実性の低いトークンを優先的に公開するアンマスキングスケジュール (unmasking schedules) の構築に重点を置いている。これにより、後続のトークン予測が容易になり、全体の処理速度が向上する。このスケジュールは、生成品質を維持するためにKLダイバージェンス正則化器 (KL-divergence regularizer) を利用しつつ、モデルに効果的に蒸留される。
既存の拡散型言語モデルは、通常、応答全体を完了するために複数のデコードラウンドを必要とする。dSparkは、この非効率性を解消するため、並列デコード戦略を採用。トークンの並列生成を可能にすることで、推論時間を大幅に削減する。研究チームは、このアプローチが、特に複雑な推論タスクや長文生成において、dLLMのボトルネックとなっていた逐次的な処理を改善すると説明している。
詳細な評価は、数学的推論タスクのGSM8Kデータセットおよびコード生成タスクで実施された。結果として、LLaDA-8B-Instructモデルに対しては最大10.12倍、Dream-7B-Instructモデルに対しては最大5.12倍の顕著な速度向上が確認された。同時に、これらのタスクにおける生成品質と精度は高いレベルで維持されていることが報告されている。
この研究成果は、拡散型言語モデルの実用性を大きく高めるものと期待される。提案されたdSparkのコードは、GitHubリポジトリにて一般に公開されている。
参考: arXiv cs.CL (アーカイブ) — 2026年10月27日 02:35 (JST)