arXiv cs.CLは2026年8月3日(現地時間)、Jiajun Liang氏らが執筆した論文「AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling」を公開した。この論文では、画像や音声モデリングで普及している連続潜在空間を活用し、従来の離散トークンに依存するテキスト生成の課題を解決する、新しい拡散言語モデル「AURORA-LM」が紹介されている。同モデルは、既存の連続言語モデルを上回る性能を示した。
本論文は、生成モデリングにおいてテキストが依然として離散トークンに依存している現状を指摘している。既存の連続言語モデルは、生成とデコードのために設計されていない埋め込み空間を継承するか、拡散を容易にするためにオートエンコードされた潜在表現を圧縮することで、トークンレベルの忠実性を犠牲にしてきた。
AURORA-LMは、デコード可能な高容量テキスト潜在表現の構築と、その分布のモデリングを分離する。Query-based Encoder-Decoderがテキストを高容量でプレフィックスアラインされた潜在シーケンスに整理し、Block-causal Diffusion Transformerがフローマッチングを通じてその分布を学習する。これにより、各ブロック内の位置を並行してノイズ除去しながら、ブロックを左から右に生成する。また、拡散モデルにとって扱いにくい潜在表現に対応するため、ノイズ入力経路のみを制限し、デコーダ向きの容量を減らすことなくフル幅の潜在表現を保持する。さらに、ノイズレベル分布を潜在幅に調整し、独立してサンプリングされた訓練ノイズと推論時の反復的なノイズ除去を橋渡しするために自己軌跡一貫性を導入している。
実験では、AURORA-LMはOpenWebTextの自由生成およびXSum要約タスクにおいて、評価対象の連続および拡散ベース言語モデルの中で最も強力な性能を達成した。10億パラメータへのスケーリングと約1500 EFLOPsの総計算量により、さらなる性能向上が見られ、一致した評価プロトコル下で公開されている大規模な潜在拡散言語モデルを上回る結果となった。全ての実験はAscend NPUsで実施されている。
参考: arXiv cs.CL (アーカイブ) — 2026年8月4日 02:59 (JST)
原文ハイライト"A Query-based Encoder-Decoder organizes text into a high-capacity, prefix-aligned latent sequence"