arXivは2026年10月29日(現地時間)、新たな研究論文を公開し、離散拡散モデル向けの新サンプラー「指数残差フロー (ERFs)」を導入したと発表した。この手法は、連続拡散モデルで用いられる確率流常微分方程式 (ODE) の概念に着想を得ている。離散拡散モデルにおける高速サンプリングと一貫性蒸留という主要な課題に対し、決定論的な定式化と経験的改善をもたらすものとして注目される。
本論文は、離散拡散モデルにおいて連続拡散モデルと同様の決定論的ODEによる定式化が可能であるかという問いに対し、「指数残差フロー (ERFs)」を通じて肯定的な回答を示している。
ERFsフレームワークでは、離散状態に対して各トークンと位置に応じた連続的な残差変数 (continuous residual variable) が付与される。これらの残差は、現在の離散状態と、規定された拡散モデルの順方向および逆方向レート行列 (forward and backward rate matrices) に依存する、区分的に定義されたODEに従って決定論的に進化する。残差がゼロに達すると離散状態が変化する仕組みであり、この構成が元の拡散の周辺分布を保存することが数学的に証明されている。
ERFsサンプラの実際的な離散化が導出されており、特にマスク拡散 (masked diffusion) および均一拡散 (uniform diffusion) に特化して適用される。ERFsの決定論的軌道は一貫性蒸留 (consistency distillation) をサポートし、複数のベンチマークにおいて従来の手法を上回る経験的改善をもたらしている。その応用範囲は、コード生成 (code generation) やテキスト生成 (text generation) タスクなど多岐にわたる。
論文の著者は、サムソン・グレヴィッチ (Samson Gourevitch) 氏、ヤジッド・ジャナティ (Yazid Janati) 氏、エリック・ムーリンズ (Eric Moulines) 氏、エリック・P・シン (Eric P. Xing) 氏、アラン・デュルムス (Alain Durmus) 氏、ジャコモ・ザネラ (Giacomo Zanella) 氏らである。
参考: arXiv cs.LG — 2026年10月30日 02:55 (JST)
原文ハイライト"continuous residual variable"