arXiv cs.LGは2026年5月28日(現地時間)、Benjamin A. Burns氏とSara Fridovich-Keil氏による拡散モデルの事後分布サンプリングに関する研究論文を発表した。この研究は、画像逆問題における事後分布サンプリングで広く利用される拡散モデルにおいて、計算効率のために導入される尤度近似が引き起こす未解明な失敗の原因とメカニズムを解明した。
既存の事後分布サンプリング手法では、推論時に任意の測定モデルを組み込むことができる一方、計算上の扱いやすさのため、中間タイムステップでの尤度を不正確に近似する必要がある。これらの近似は経験的にはうまく機能することが多いものの、サンプリングされた事後分布に対する下流効果は十分に理解されておらず、予期せぬ失敗につながる可能性があった。
研究者らは、尤度近似がどのようにして誤った事後分布に伝播するかを理解するため、訓練セットのサイズが無限大に近づくにつれて事後分布を任意の精度で近似する「有限標本観点」を導入した。この観点を用いて、一般的な事後分布サンプリングの近似が中間タイムステップにおける事後分布の広がりを過小評価または過大評価する傾向があることを観測した。
この問題は、早期停止時間への感度、事後モードの相対的な重み付けの不正確さ、そしてハルシネーション（事後分布にない事前モードと、事前分布でサポートされない尤度モードの両方）を含む下流の結果を引き起こす。さらに、これらの事後分布エラーの原因は、非線形測定モデルやマルチモーダル事後分布を必要とせず、マルチモーダル事前分布と中間サンプリング時間での事後分布の不正確な広がりだけでも発生しうると結論付けている。
この有限標本事後分布サンプリングアプローチは、尤度近似の種類や順方向モデルの種類（線形または非線形）に依存せず、既存および将来の事後分布サンプラーの精度と失敗モードを評価するための診断ツールとして活用できるとされている。
参考: arXiv cs.LG — 2026年5月29日 02:57 (JST)
原文ハイライト"Diffusion models have excellent capacity to model complex distributions of natural data"