ドンフン・アン（Donghoon Ahn）氏らは2026年10月15日(現地時間)、拡散モデルにおける「エクスポージャー・バイアス（exposure bias）」による推論時の予測誤差蓄積に対処するため、新たな修正学習手法「コレクション・ステップ（correction step）」を導入する研究論文を発表した。デノイザーの訓練と推論のギャップを低減し、生成されるサンプルの品質と多様性を大幅に向上させるという。
拡散モデルを用いた反復サンプリングでは、訓練時に与えられない不完全な予測が推論段階で入力となる「エクスポージャー・バイアス」によってエラーが蓄積されることが課題となっていた。これは、追加的な支援がない場合に拡散モデルの性能が低下する主要な要因の一つと認識されている。
今回発表された「コレクション・ステップ」は、この訓練と推論のギャップを埋めることを目的としている。コレクター（corrector）はベースモデルの予測を入力として受け取り、訓練時と同じグラウンドトゥルース（ground-truth）ターゲットに対して学習される。サンプリング中に各デノイジングステップにおいて、デノイザーによるクリーンサンプル予測が反復的に洗練される仕組みだ。これにより、中間デノイジングステップでの予測が修正され、初期段階で発生したアーティファクトが最終的なサンプルに残ることを防ぐ。
本手法は、DiT、SiT、JiT といったモデルで評価され、サンプル品質の大幅な改善と多様性の維持が確認された。特に、ガイダンスなしの生成（unguided generation）や無条件生成（unconditional generation）において、従来報告されていたFIDスコアを大きく上回る性能を示している。また、クラシファイア・フリー・ガイダンス（Classifier-Free Guidance、CFG）と同等の性能を達成し、CFGと組み合わせることで多様性をさらに高め、CFGに典型的なオーバーサチュレーション（oversaturation）を低減できることも示された。
修正学習による推論コストの増加については、洗練された予測をベース拡散モデルに蒸留（distilling）するアプローチにより償却可能とされており、品質向上を維持しつつ、推論時のオーバーヘッドなしでの運用が可能になるとしている。
参考: arXiv cs.AI (アーカイブ) — 2026年10月15日 13:00 (JST)