Apple ML Researchは2026年10月1日(現地時間)、ディスクリート拡散モデルにおける信頼性の限界に関する研究論文を発表した。同論文によると、リマスキングや均一状態サンプラーを含むディスクリート拡散は、各ステップで複数のトークン位置を書き込むが、この際にトークン間に固有の依存関係が存在する。研究では、ステップが訓練分布と一致するのは、書き込む位置が固定されたトークンに対して条件付き独立である場合に限られることを示している。
この研究は、位置ごとの分布の積では依存するグループに一致せず、また位置ごとの分布だけではグループが依存しているかどうかも判断できない点を指摘する。二つの結合分布が、値の組み合わせが異なるにもかかわらず、同一の位置ごとの周辺分布を持つ可能性があるためである。
「ScanAndAdd」という合成タスクを用いた検証では、自信度ランキングが書き込む二つ以上の未確定位置のすべてのグループが依存的であることが確認された。また、生成された分布は、サンプリングノイズフロアの全変動と比較して29倍であったが、サンプルごとの指標は1.0という結果になった。
参考: Apple ML Research (アーカイブ) — 2026年10月2日 09:00 (JST)
原文ハイライト"a step matches the training distribution only when the positions it writes are conditionally independent"
この記事をシェア