Apple ML Research、拡散トランスフォーマーの外れ値トークン制御を研究
Apple ML Researchは2026年8月4日(現地時間)、画像生成に用いられる拡散トランスフォーマー（DiTs）における外れ値トークンの問題とその制御に関する研究成果を発表した。先行研究ではVision Transformers（ViTs）が少数の高ノルムトークンを生成し、不釣り合いな注意を引きながら限定的な局所情報しか持たないことが示されていたが、生成モデルでの役割は不明瞭だった。本研究は、この現象がRepresentation Autoencoder (RAE)-DiTパイプラインのエンコーダーとデノイザーの両方で発生することを示している。