huggingface.coは2026年11月5日(現地時間)、視覚的知能を目指す統合画像基盤モデル「WeLM-Image」を発表しました。このモデルは、テキストからの画像生成、指示に基づく画像編集、および複数参照からの合成といった機能にマルチモーダルな理解を統合しています。単一GPUでの展開と、WeChatの大規模コンシューマーアプリケーションでの利用を想定して設計されています。
WeLM-Imageは、テキスト、参照画像、ターゲット潜在空間を一つのインターリーブされたシーケンスとして処理します。モデルのバックボーンにはMixture-of-Transformers（MoT）が採用されており、共有アテンションと独立した理解・生成パラメータを組み合わせることで、最適化における干渉を抑制しています。また、各パスにはMixture-of-Experts（MoE）モジュールが搭載されており、31.7Bの保存パラメータと、ターゲット潜在トークンあたり約5.4Bの生成パラメータが活性化される疎な処理能力を提供します。
モデルの学習には、知識に基づいた視覚的ボキャブラリーと大規模な視覚クラスタリングを組み合わせた生成指向のデータエンジンが用いられ、セマンティックなカバー範囲と編集タスクのバランスが図られています。さらに、バイリンガルなアノテーションと検証済みの編集教師データが、ネイティブ1.5K解像度までの段階的なトレーニングを支援。生成と編集の最適化は、ルーブリックベースおよびチェックリストベースの報酬を用いて個別に行われた後、ノイズを考慮したオンポリシー蒸留を通じて専門化されたポリシーが統合されています。
評価されたオープンソースモデルとの比較において、1536解像度のWeLM-Imageモデルは、PRISM-Bench、Qwen-Image-Bench、UnicBenchの各ベンチマークで1位を獲得しました。また、MeanFlowベースの少数ステップ蒸留により開発されたWeLM-Image-Turboは、単一のNVIDIA H20 GPU上で、ガイドンスフリーの8ステップで1024x1024ピクセルの画像を4.98秒で生成します。
参考: huggingface.co (アーカイブ) — 2026年11月7日 01:10 (JST)
原文ハイライト"a unified image foundation model that integrates multimodal understanding"