RangeSWA、連続拡散言語モデルの長文生成品質劣化を抑制
arXivは10月30日(現地時間)、Guangfu Guo氏らの研究者グループが、連続拡散言語モデル（CDLM）の長文生成における課題を解決する訓練不要の手法「RangeSWA」を発表した。この手法は、訓練長を超えるテキスト生成時にCDLMで頻発するテキスト繰り返しや意味の一貫性喪失、品質劣化といった問題を抑制する。RangeSWAは、local sliding-window attention、remote block summaries、dynamic content retrievalを統合し、長距離コンテキストへのアクセスを効率化することで、これらの課題に対応する。