マティアス・オル (Mathias Ollu) 氏とニコス・コモダキス (Nikos Komodakis) 氏らは2026年10月6日(現地時間)、「Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling」と題する研究論文をarXiv cs.CLに公開した。同論文は、階層型連続拡散言語モデル (H-CDLMs) というシンプルなフレームワークを導入し、最小限の計算およびパラメータオーバーヘッドで連続拡散言語モデル (DLMs) の性能を向上させることを提案している。
提案されたH-CDLMsフレームワークは、離散DLMと連続画像拡散における共同拡散の先行研究に基づき、複数のモダリティを並行して拡散する。これらのモダリティは、異なる意味的粒度でトークンを表現する。具体的には、トークン自体と、事前学習済みトークン埋め込みをクラスタリングすることで得られる粗いクラスタが用いられる。
H-CDLMsを既存のモデルであるCoBitに適用したH-CoBitは、各種ベンチマークで大きな性能向上を示した。データセットエントロピーにおいて、H-CoBitはMAUVEを改善し、LM1Bで生成パープレキシティ (GenPPL) 49.4、OWTで50.4を達成。これはベースラインをそれぞれ24.2ポイント、20.7ポイント上回る結果であり、同規模の離散DLMも凌駕する。また、GSM8Kでは27.4%の精度を記録し、これまでの連続拡散モデルやフローベースモデルを上回った。
さらに、H-CDLMはフローマッチングモデルFLMにも適用され、一貫した性能向上をもたらすH-FLMが実現した。これにより、このフレームワークが連続生成パラダイム全体に汎用的に適用可能であることが示された。関連するコードは公開予定だ。
参考: arXiv cs.CL (アーカイブ) — 2026年10月7日 02:38 (JST)
原文ハイライト"Hierarchical Continuous Diffusion Language Models (H-CDLMs), a simple framework that further improves continuous DLMs"