Jiongfan Yang氏ら複数の研究者は2026年10月29日(現地時間)、ピクセル空間生成Transformer（トランスフォーマー）の新しいトークン化手法「SpecSlot（スペックスロット）」を提案した。この手法は、高解像度画像生成において、画像の詳細度とグローバルアテンションの計算コストの分離を実現し、効率向上を目指す。従来のピクセル空間生成Transformerでは、きめ細かい画像を生成するために多くのトークンが必要となり、グローバルアテンションの計算コストが増大する課題があった。
SpecSlotは、ピクセル空間におけるrectified-flow Transformerであり、出力される詳細度とグローバルアテンションシーケンスの長さを効果的に分離する機構を備えている。この設計は、低周波構造がグローバルな情報交換から恩恵を受ける一方で、高周波の詳細は局所的にモデリング可能であるという観察に基づいている。
本モデルでは、各空間アンカーを複数のスロットに拡張するアプローチを採用している。それぞれのスロットには、DCT（離散コサイン変換）係数の異なるバンドが割り当てられており、これによりアンカー密度とスペクトル細分化の独立した制御が可能となる。特筆すべきは、各アンカーから得られる最低周波数スロットのみがグローバルアテンションメカニズムに参加する点である。これに対し、その他のすべてのスロットは局所的な相互作用にとどまる。このような構造設計により、グローバルシーケンスのサイズを不必要に増大させることなく、スペクトル詳細度を飛躍的に向上させることが可能となる。
性能評価においては、ImageNet-256（イメージネット256）データセットを用いた実験結果が報告された。SpecSlotは、FLOPs（浮動小数点演算回数）が一致するJiTコントロールモデルと同等のFID（Fréchet Inception Distance）スコアを達成し、さらに速い収束性を示した。ImageNet-512（イメージネット512）データセットにおいては、コントロールモデルと比較してFIDを2.84ポイント改善し、同時にFLOPsを3.9%削減することに成功した。より大規模なJiT-B/16（ジットビー/16）との比較では、FID差はわずか0.69にとどまりながら、計算コストを38.2%低減したことが確認された。さらに、text-to-image（テキスト・ツー・イメージ）生成タスクに特化したDPG-Bench（ディーピージー・ベンチ）での評価では、SpecSlotはJiT-B/8（ジットビー/8）を1.06ポイント上回る性能を発揮し、フォワードコストを40.6%削減するという顕著な結果を示した。
参考: arXiv cs.CV — 2026年10月30日 02:59 (JST)