Appleは2026年8月(現地時間)、大規模言語モデル (LLM) の主要なモデルである自己回帰型言語モデル (ARM) と、新たなパラダイムである拡散型言語モデル (DLM) の性能特性に関する研究結果を発表した。この研究では、DLMが並列生成によって高い演算強度を達成するものの、長文コンテキストではスケールしない課題を指摘。解決策としてブロック単位デコーディングを提示し、さらにバッチ推論ではARMが優位である一方、DLMはサンプリングステップ数削減が低レイテンシ達成の鍵だと結論づけている。
自然言語処理 (NLP) 分野において最先端の成果を示すLLMは、これまで主にARMを主体として進化を遂げてきた。ARMは先行するトークンに基づいて次のトークンを逐次的に生成する特性を持つため、次トークン予測における本質的な逐次依存性により、演算強度が低いという課題が指摘されている。
これに対し、DLMは拡散プロセスを逆転させることで、出力トークンを並列に生成する可能性を秘めており、逐次デコーディングの制約を緩和し、生成速度の飛躍的な向上が期待される新たな選択肢として注目を集めている。Appleの研究は、これら二つのモデルパラダイムの性能特性を包括的に分析した。
今回の研究では、理論分析と経験的プロファイリングを組み合わせ、ARMとDLMの演算効率を比較。DLMはトークン位置間の並列性を活用することでARMよりも高い演算強度を達成できるが、長いコンテキストでは効果的にスケールしないことが明らかになった。この課題に対し、研究者らはDLMにおけるブロック単位デコーディングを考案。この手法を導入することで、演算強度をシーケンス長から切り離し、長いコンテキストへのスケーリングをARMと同等に改善できることを確認した。
また、バッチ推論の性能分析では、ARMがバッチ内のシーケンス間並列処理からより大きな恩恵を受けるため、現行では優れたスループットを示すことが明らかになった。一方、DLMの推論を加速し、実用的なパフォーマンスを達成するためには、サンプリングステップ数の削減が極めて重要であると指摘されている。具体的には、オープンソースのDLMがARMに対して低いレイテンシを達成するには、このサンプリングステップ数の削減が鍵となる。これらの知見は、DLMを実用的なLLMとして確立していく上で重要な指針となる。
参考: Apple ML Research — 2026年8月7日 09:00 (JST)
原文ハイライト"they exhibit low arithmetic intensity due to the inherent sequential dependency in next-token prediction"