Hugging Faceは2026年10月28日(現地時間)、Mistral製のマルチモーダル、多言語対応のMixture-of-Experts（MoE）モデル「Mistral Large 4」（通称Le Chonk）の提供を開始した。同モデルはテキストと画像をインプットとしてテキストを生成し、約1兆の総パラメータ、490億のアクティブパラメータ、1Mトークンのコンテキストウィンドウを持つ。サイバーセキュリティ、コーディングエージェント、マルチモダリティの分野で特に高い性能を発揮する。
Mistral Large 4は、多数のエキスパートを組み合わせたMixture-of-Experts（MoE）アーキテクチャに、スパースアテンションとPixtralビジョンエンコーダを統合している。言語モデルは各トークンに対して少数のエキスパートを選択し、アテンションインデクサは参照する以前のトークン位置を選択する。
サイバーセキュリティ機能が特筆され、Artificial Analysis Cyber Indexテストでは82%のスコアを記録した。これは、オープンソースソフトウェアの実際の脆弱性を再現し、パッチを適用する能力を示すものだ。Mistralは、同モデルがマルウェア解析、脆弱性優先順位付け、検出ルールの作成にも有効であると報告している。オープンウェイトモデルであるため、ユーザーは利用ポリシーとデプロイを自身で管理できる。
テキストデコーダは72層で構成され、Multi-head Latent Attention（MLA）とDeepSeek Sparse Attention（DSA）インデクサを組み合わせる。MoEブロックでは、128のエキスパートから4つと共有エキスパート1つを合わせて計5つのエキスパートが各トークンでアクティブになる。Pixtralエンコーダは16億のパラメータを持つ。
ベンチマークテストでは、コーディング、サイバーセキュリティ、マルチモーダル理解、エージェントワークフローにおいて高い性能を示している。Artificial Analysis Intelligence Indexではオープンウェイトモデルの中で5位に位置付けられた。コーディング分野ではDeepSWE v1.1で61.7%、SWE-Atlas-QnAで59.4%を達成。サイバーセキュリティ分野では、Cybenchの40の課題中93%を解決し、Lakera’s B3 benchmarkでは93.3%の攻撃耐性を示している。Mistral Large 4は、transformers、vLLM、llama.cppに対応している。
参考: Hugging Face Blog (アーカイブ) — 2026年10月29日 13:30 (JST)