arXivは2026年10月29日(現地時間)、連続拡散言語モデル（CDLM）と投機的ドラフターの言語生成アーキテクチャを比較した研究論文を発表した。本研究は、CDLMのLangFlowと投機的ドラフターDSparkの各バリアントの性能を評価。LangFlowは、デフォルトのノイズ除去ステップがシーケンス長と等しい条件において、長さ128および1024のシーケンス生成でDSparkバリアントを両指標で上回る結果を示した。
本研究は、効率的な言語生成手法である連続拡散言語モデル（CDLM）と投機的ドラフターのアーキテクチャを比較した。CDLMにはLangFlowが用いられ、ドラフターにはDSparkのMarkovヘッドおよび再帰ヘッドアーキテクチャがスタンドアロン生成向けに適用された。
すべてのモデルは、無条件の単一ブロックOpenWebText生成のためにゼロから訓練され、長さ16、128、1024のシーケンスで評価された。評価指標としては、外部言語モデルによる生成パープレキシティ（GenPPL）と、MAUVEによる参照テキストとの分布類似性が使用された。
デフォルトのノイズ除去ステップがシーケンス長と等しい条件では、LangFlowは長さ128および1024において両方のDSparkバリアントを両指標で上回った。一方で、長さ16ではDSpark-RNNが優位を示した。条件付きKL分析により、Markovヘッドのprevious-token条件付けによって除外される依存関係が特徴付けられた。再帰メモリはこの制限を取り除き、両指標を改善したが、より長いシーケンスでのギャップは残存した。Teacher probability matchingはMarkov GenPPLをさらに低下させたものの、MAUVEの改善は観察されなかった。
LangFlowのノイズ除去ステップを固定重みで増加させると、長さ16および128の両方で指標が改善し、長さ128におけるDSpark-RNNとの順位が変化した。これらの結果は、評価された予算下でのLangFlowのより長いシーケンスにおける優位性を確立するものである。
参考: arXiv cs.CL (アーカイブ) — 2026年11月2日 14:00 (JST)
原文ハイライト"at lengths 128 and 1024"