arXiv cs.LGは2026年5月8日(現地時間)、Hanhan Zhou、Shamik Roy、Rashmi Gangadharaiahの3氏による論文を発表した。同論文は、離散拡散型言語モデル（DLMs）における制御生成手法の改善を提案。既存手法が抱える生成品質の低下という課題に対し、属性のコミットタイミングに応じた適応型スケジューラーの有効性を示した。
離散拡散型言語モデル (DLMs) は、テキスト生成において自己回帰型モデルの代替手法として注目されており、全ての位置を並行して反復的にノイズ除去することでテキストを生成する。
既存のDLMs制御生成手法は、自己回帰型モデルから派生したもので、全てのノイズ除去ステップで均一な介入を適用する。しかし、この均一な介入スケジュールは生成品質を低下させ、複数の属性を同時に制御しようとすると、その劣化は複合的に進むことが課題となっていた。
研究チームは、この問題の根本原因を特定するため、124Mから8Bパラメータを持つ4つのDLMsに対しスパースオートエンコーダーを訓練した。その結果、異なる属性が、それぞれタイミング、鋭さ、規模が異なる個別のスケジュールで決定されることを発見した。例えば、トピックはノイズ除去プロセスの最初の2%以内に決定されるのに対し、感情はプロセスの20%にわたって徐々に現れる。この知見は、均一な介入が、ターゲット属性が既に確定しているか、あるいはまだ出現していないステップで制御能力を無駄にしている可能性を示唆した。
この発見に基づき、研究チームは新しい適応型スケジューラーを提案した。このスケジューラーは、属性が活発に形成されているステップにのみ介入を集中させ、それ以外の生成プロセスには変更を加えない。この手法は、コミットメント分布の単一の分散統計によって決定される閉形式の特徴付けを可能にし、コストと制御の効率的なトレードオフを実現する。
4つのDLMsと7つの制御タスクを用いた評価において、この適応型スケジューラーは、均一な介入で典型的に見られる品質低下なしに、正確な制御を達成したと報告されている。特に困難とされる3属性同時制御においては、最強のベースラインを最大15%ポイント上回り、最大93%の制御強度に達しながら生成品質を維持したことが示された。
参考: arXiv cs.LG (アーカイブ) — 2026年5月13日 13:00 (JST)