Yixia Zhang氏らは2026年11月17日(現地時間)、テキストから画像を生成する新たなフレームワーク「TextSphere(テキストスフィア)」を提案したと、arXiv cs.CV(アーカイブ シーエスドットシーブイ)が公開した論文で明らかにした。同氏らは、既存のSphere Encoder(スフィアエンコーダー)を言語条件付けとクロスモーダルアライメントで拡張し、効率的な画像生成を実現したと報告している。拡散ベースのモデルが複数の推論ステップを要するのに対し、TextSphereは少ないステップ数で高品質な画像を生成可能だとしている。

TextSphereは、近年のテキスト・画像生成技術の進展に伴い、特に拡散ベースの手法によって画像品質が向上した一方で、効率性に課題がある点に着目した。Sphere Encoderは少ないフォワードステップで画像を生成できる効率的なフレームワークだが、クラス条件付けの設計のため自由形式のテキストへの拡張が困難で、クロスモーダルアライメントが不足していた。

この課題に対し、TextSphereはSphere Encoderに言語条件付けとクロスモーダルアライメントを組み込むことで対応した。具体的には、事前学習済みのCLIPテキスト埋め込みをアダプティブレイヤー正規化(AdaLN)を通じて組み込み、元の球面サンプリングメカニズムを維持しながら画像生成を誘導する。また、クロスモーダル表現のギャップを埋めるため、球面意味アライメントと均一性(SSAU)目的関数を導入し、ハイパースフィア上での意味的アライメントと表現の均一性を同時に促進する。

CUB-200-2011、MS-COCO-2014、Flickr30kの各データセットを用いた実験では、TextSphereがテキスト条件付きベースラインに対して、生成FID(gFID)を一貫して削減し、再構築FID(rFID)では1.0を下回る結果を示した。わずか4ステップと6ステップのサンプリングで、CUB-200-2011とMS-COCO-2014でゼロから学習させた比較対象の拡散ベースおよびGANベースのモデルよりも低いgFIDを達成している。

研究では、再構築忠実度の改善が必ずしも生成品質の向上にはつながらないことも観察されている。さらに、クロスモーダルアライメントとモダリティギャップの分析には、部分最小二乗特異値分解(PLS-SVD)を使用し、提案アプローチの有効性に関する洞察を提供している。


参考: arXiv cs.CV (アーカイブ) — 2026年11月18日 03:08 (JST)

原文ハイライト

"Efficient Text-to-Image Generation"

この記事をシェア
X はてブ LinkedIn