arXivは10月30日(現地時間)、Guangfu Guo氏らの研究者グループが、連続拡散言語モデル（CDLM）の長文生成における課題を解決する訓練不要の手法「RangeSWA」を発表した。この手法は、訓練長を超えるテキスト生成時にCDLMで頻発するテキスト繰り返しや意味の一貫性喪失、品質劣化といった問題を抑制する。RangeSWAは、local sliding-window attention、remote block summaries、dynamic content retrievalを統合し、長距離コンテキストへのアクセスを効率化することで、これらの課題に対応する。
Guangfu Guo氏らが提案したRangeSWAは、連続拡散言語モデル（CDLM）が訓練時よりも長いテキストを生成する際に直面する長さの推論（length extrapolation）の問題解決を目的として開発された。具体的には、テキストの繰り返しの発生、意味の一貫性の喪失、および全体的な生成品質の低下といった、これまでCDLMが抱えていた課題への対処を目指す。同研究は、これらの課題が、訓練データのシーケンス長を超えるコンテキストを効果的に処理できないモデルの限界に起因すると指摘している。
RangeSWAの核心は、その訓練不要（training-free）なアプローチにある。この手法は、新たなモデルの再訓練や追加のデータセット学習を必要とせず、既存のCDLMに容易に適用できる点が特徴である。RangeSWAは、長距離の依存関係を効果的に捉えつつ、テキストの局所的な詳細を維持するために、複数の技術的要素を統合する。これには、近接するトークン間の関係に焦点を当てるlocal sliding-window attention、遠距離のブロックから要約された情報を活用するremote block summaries、そして必要に応じて関連情報を動的に取得するdynamic content retrievalが含まれる。
RangeSWAは、推論性能を向上させるための三つの主要なメカニズムを導入している。一つ目は、位置情報のマッピングを再調整し、モデルが訓練長を超えてもトークンの相対的・絶対的位置を正確に解釈できるようにするpositional remappingである。二つ目は、アテンションメカニズムを調整し、長距離のコンテキストからの信号が適切に重み付けされるようにするconditioning attention correction。三つ目は、連続拡散モデルのノイズ除去プロセスにおける各段階に応じて、コンテキストウィンドウのサイズを動的に調整するdenoising-stage-adaptive window schedulingである。この適応的なスケジューリングにより、モデルはノイズ除去の進行度合いに応じて最適な粒度でコンテキストを処理することが可能になる。
研究者グループは、RangeSWAの有効性を検証するため、複数の連続拡散言語モデルを用いて広範な実験を実施した。その結果、RangeSWAが長文テキスト生成において、生成されたテキストの予測不可能性を示すgenerative perplexityを効果的に低減できることを実証した。また、text repetition rates（テキストの繰り返し率）も有意に抑制され、より多様で一貫性のあるテキスト生成が実現されることが示された。これらの実験結果は、RangeSWAがCDLMの信頼性と適用範囲を大幅に向上させ、より長く一貫性のある出力を必要とするタスクにおいて、その利用可能性を大きく広げる可能性を示唆している。
参考: arXiv cs.CL — 2026年10月31日 02:35 (JST)
原文ハイライト"Training-Free Length Extrapolation for Continuous Diffusion Language Models"