Gemma Teamは2026年7月2日(現地時間)、オープンウェイトのネイティブマルチモーダル言語モデルの新世代「Gemma 4」に関する技術レポートを公開しました。このモデルは、計算効率と推論能力の向上を主眼に開発され、2.3Bから31Bパラメータの範囲で、DenseアーキテクチャとMixture-of-Expertsアーキテクチャの両方を特徴としています。
Gemma 4は、既存のGemmaモデルファミリーの最新世代として位置づけられ、主要な技術的進歩を導入しています。注目すべきは、全モデルサイズで改善されたビジョンおよびオーディオエンコーダの搭載です。特に、12Bモデルにおいては、生オーディオと画像パッチを直接取り込むことが可能な統一されたエンコーダフリーアーキテクチャが提案されており、モデルの汎用性と処理能力が大幅に向上しています。
さらに、Gemmaモデルにはthinking modeが統合されました。これにより、モデルは最終的な応答を生成する前に、内部で推論トレースを生成する能力を獲得しています。この設計上の選択は、推論速度、メモリ効率、計算効率の向上に寄与するだけでなく、長文コンテキスト処理能力の強化にも繋がっているとGemma Teamは説明しています。
Gemma 4のアーキテクチャは、スケーラビリティとパフォーマンスのバランスを考慮して設計されています。2.3Bパラメータの軽量モデルから、31Bパラメータのより大規模なモデルまで、多様な用途に対応できる柔軟性を提供します。特にMixture-of-Expertsアーキテクチャの採用は、モデル全体の計算負荷を最適化しながら、個々の専門家モデルが特定のタスクに特化することで、高い精度と効率を実現しています。
性能評価では、Gemma 4は科学・技術・工学・数学（STEM）、マルチモーダル推論、および長文コンテキスト理解の各ベンチマークにおいて顕著な性能向上を確立しました。人間評価タスクにおいても、Gemma 4はより大規模なフロンティアオープンモデルに匹敵する性能を示しています。
参考: arXiv cs.CL (アーカイブ) — 2026年7月7日 13:00 (JST)
原文ハイライト"Gemma 4 Technical Report"