arXiv cs.CVが2026年10月30日(現地時間)付けで報じたところによると、画像生成モデルの効率的な学習手法であるDistribution Matching Distillation (DMD) の性能向上が報告された。研究チームは、信頼性の高い訓練信号を得るにはクリティックのキャパシティと情報が重要であることを示し、その改善策として「joint scaling」と「step-aware critic (STAC)」を導入した。
DMDは、ティーチャーモデルのスコアとオンラインクリティックが推定するスチューデント分布のスコアの差を利用し、少ないステップで動作するスチューデントモデルを訓練する。今回の研究は、クリティックが信頼性のある訓練信号を提供するために必要なキャパシティと情報を調査した。
キャパシティの側面では、ImageNet上で7つのSiTモデルサイズを用いて実験を行った。ティーチャーモデルのサイズを拡大する一方でクリティックを小規模に固定した場合、スチューデントの品質が低下し、訓練が破綻する可能性が示された。これに対し、クリティックをティーチャーモデルと並行してスケーリングする「joint scaling」戦略を適用することで、実験における破綻が防止され、スチューデントモデルはより大規模なティーチャーモデルの恩恵を受けることができた。
情報の側面では、クリティックにステップ非依存なスチューデント出力の混合モデルを強いるのではなく、スチューデントの生成ステップを条件付けてステップ固有のスコアを推定するstep-aware critic (STAC)を導入した。joint scalingとSTACを組み合わせることで、クラス条件付きImageNet生成、SDXLおよびFLUX.2を用いたテキストから画像生成、Wan2.1を用いたテキストから動画生成において、一貫して少ないステップでの蒸留性能が向上したことが報告された。
本研究の著者には、AdobeのZongze Wu (ゾンゼ・ウー) 氏、Zhengyang Geng (ジェンヤン・ゲン) 氏、Mingdeng Cao (ミンダン・カオ) 氏、Zhoutong Zhang (ジョウトン・ジャン) 氏、Richard Zhang (リチャード・ジャン) 氏、Eli Shechtman (エリ・シェクトマン) 氏、Ruiming Cao (ルイミン・カオ) 氏、およびMITのXianbang Wang (シアンバン・ワン) 氏らが名を連ねている。
参考: arXiv cs.CV (アーカイブ) — 2026年10月31日 02:58 (JST)
原文ハイライト"joint scaling and STAC consistently improve few-step distillation across class-conditional ImageNet generation"