Gunmay Jhingran氏は2026年10月2日(現地時間)、arxiv cs.LGを通じて、離散拡散モデルのフォワードプロセスを改善する新たな手法を提案した論文を公開した。既存の吸収型汚染がコンテキストを完全に信頼し、エラーが生成部分に伝播する課題に対し、領域不均一なフォワードダイナミクスを導入。これにより、モデルが不確実なトークンから学習できるよう改善され、汚染された情報に対する頑健性が向上すると述べている。
Gunmay Jhingran氏は、連続拡散モデルにおけるフォワードプロセスの設計空間の概念を、離散言語拡散モデルへ適用した。これまでの離散言語拡散モデルでは、吸収型汚染がコンテキストを真理値として扱うため、汚染された情報が生成スパンに誤りを伝播させる問題が指摘されていた。
本研究では、吸収型カーネルと均一混合カーネルを領域依存のレートで組み合わせることで、設計空間を再構築する。具体的には、欠落した位置には吸収型ダイナミクスを適用し、コンテキストには低レートのランダム置換を実施する。このアプローチにより、モデルはトレーニング中に観測されるものの不確実なトークンに曝露される。推論時には、疑わしいコンテキストにノイズを再注入し、軌跡の後半でコンテキストの更新を停止するヒューリスティックサンプラーが用いられる。
事前学習済みの1億7000万パラメータを持つマスク拡散モデルを8,000ステップでファインチューンした結果、6GBのラップトップGPUで5時間未満で完了した。ユニフォームランダムな汚染の場合、ファインチューニングされたモデルは汚染されたコンテキストを0.96のリコールと0.91の精度で検出できた。10%の汚染でinfill token-F1スコアを3.8ポイント、20%の汚染では6.4ポイント改善し、汚染隣接部の精度低下も解消された。クリーンな条件付けでは測定可能な退行はなく、誤編集率（false-edit rate）は0.4%未満だった。一方で、もっともらしい汚染に対する改善は10%汚染で約0.5 F1ポイントと小さく、統計的有意性は確認されなかった。
検出可能性と損傷の程度は、データ条件からの逸脱に共同で依存することが示唆されている。近くのノイズは検出が難しく意味的に軽度である一方、遠くのノイズは顕著で破壊的であるという。この研究は、2026年に開催される第40回Neural Information Processing Systems (NeurIPS 2026)のワークショップAI for Stochastic Dynamicsに採択されている。
参考: arXiv cs.LG (アーカイブ) — 2026年10月19日 13:00 (JST)
原文ハイライト"Trust but Verify: Designing Region-Inhomogeneous Forward Dynamics for Discrete Diffusion"