Metaは2026年8月4日(現地時間)、ネイティブマルチモーダル機能を備えた大規模言語モデル「Llama 4 Scout」と「Llama 4 Maverick」を発表した。これらのモデルは、Meta AIを通じてWhatsApp、Messenger、Instagram Direct、およびウェブで提供を開始している。同時に、強力な基盤モデルとなる「Llama 4 Behemoth」をプレビュー公開した。
Llama 4 Scoutは170億のアクティブパラメーターと16のエキスパートを持ち、単一のNVIDIA H100 GPUに適合する。また、1,000万のコンテキストウィンドウを提供し、Gemma 3、Gemini 2.0 Flash-Lite、Mistral 3.1を上回る性能を持つ。Llama 4 Maverickも同様に170億のアクティブパラメーターを持つが、128のエキスパートを備え、GPT-4oやGemini 2.0 Flashを凌駕する結果を示している。
これらのモデルは、2,880億のアクティブパラメーターを持つLlama 4 Behemothからの蒸留（distillation）によって開発された。Llama 4 Behemothは、MATH-500やGPQA DiamondなどのSTEMベンチマークにおいて、GPT-4.5、Claude Sonnet 3.7、Gemini 2.0 Proを上回る性能を記録している。Llama 4 ScoutとLlama 4 Maverickは、mixture-of-experts (MoE) アーキテクチャを初めて採用したオープンウェイトのネイティブマルチモーダルモデルである。
Metaは、Llama 4 ScoutとLlama 4 Maverickをllama.comおよびHugging Faceでダウンロード提供を開始している。また、これらのモデルは、テキストとビジョントークンを統合する早期融合（early fusion）技術や、MetaCLIPベースの改良されたビジョンエンコーダー、200の言語に対応する多言語学習など、複数の新技術を用いて事前学習されている。トレーニングには30兆トークンを超えるデータセットが使用された。
参考: ai.meta.com — 2026年8月5日 09:00 (JST)
原文ハイライト"The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation"