Jiahan Li、Huangyuan Su、Shengbang Tongらの研究者らは2026年10月21日(現地時間)、事前学習済み表現空間における統一マルチモーダルモデリング「JUICE (Joint Unified multimodal modeling In Continuous Encoder spaces)」に関する研究論文を公開した。画像とテキストの非対称な扱いが主流であった既存モデルに対し、単一のプロセスで両モダリティを共同生成する手法を提案している。
ほとんどの統一マルチモーダルモデルは、事前学習済み言語モデルがテキストを生成し、アタッチされた拡散ヘッドが画像を生成するという非対称な方式を採用している。このため、出力が固定順序で生成され、最初の出力が後続の出力に適応できないという課題があった。
「JUICE」は、事前学習済みエンコーダ空間で両モダリティを連続的な形式で保持し、大規模に学習された知識を活用する。このモデルは、固定された画像とテキストの表現に対する単一のフローマッチングTransformerであり、各モダリティが独自のノイズレベルを持つ。これにより、画像生成、キャプション生成、視覚的質問応答、または共同生成といった多様なタスクに対応する。
制御された事前学習の実行により、設計上の選択肢がテストされた。テキストを連続状態として生成することで画像生成性能は維持され、GenEvalスコアで48.41を記録し、テキスト-画像生成専用モデルの47.86を上回った。共同および条件付きデノイジングを組み合わせた学習は、単独での学習よりも優れた結果を示し、セマンティックエンコーダ空間がVAEラテントや生のピクセルよりもターゲットとして有効であるとされた。
JUICEは2.1Bパラメータを持ち、言語モデルの初期化なし、224x224の解像度で、GenEvalで最大0.88、VQAv2で73.1を達成した。共同サンプリング（coupled sampling）により両モダリティを結合分布からサンプリングすることで、地図上で経路を描画しながら対応する動きを記述することが可能になる。複数の有効な解決策がある迷路タスクでは、独立サンプリング時の54.6%から共同サンプリングで93.7%へと成功率が向上した。視覚空間プランニングにおいては、訓練サイズで99.8%の地図を解決している。
参考: arXiv cs.CV (アーカイブ) — 2026年10月22日 13:00 (JST)
原文ハイライト"a single flow matching Transformer over frozen image and text representations"