Artificial Analysisは6月(現地時間)、大規模言語モデルの新たな性能評価ベンチマーク「MMLU-Pro」のリーダーボードを公開しました。この評価では、Googleの「Gemini 3 Pro Preview (high)」が89.8%のスコアで首位を獲得しました。続いて、「Gemini 3 Pro Preview (low)」とAnthropicの「Claude Opus 4.5 (Reasoning)」が89.5%で同率2位となりました。MMLU-Proは、既存のMMLUベンチマークを拡張し、より深い推論能力を要求する形式が特徴です。
MMLU-Proは、既存のMassive Multitask Language Understanding (MMLU)ベンチマークを強化し、モデル性能の飽和状態に対応するために設計されました。このベンチマークは、14の主題領域にわたる12,000問の大学院レベルの質問で構成され、選択肢も従来の4つから10つに増えています。これにより、知識の想起よりも深い推論能力に重点を置き、高度な言語モデル間の差異をより明確に識別できる評価基準となっています。
Artificial Analysisによる独立した評価方法によると、MMLU-Proは、モデルの精度が従来のMMLUと比較して16%から33%低下するという結果を示しました。これは、ベンチマークの難易度が向上したためと見られます。さらに、24種類の異なるプロンプトスタイルでテストした結果、モデルスコアのプロンプト変動に対する感度が、MMLUでの4-5%からMMLU-Proではわずか2%に減少したことが確認されました。
また、Chain of Thought (CoT) 推論を活用するモデルが、直接回答する方式と比較してMMLU-Proでより良い性能を達成していることが明らかになりました。これは従来のMMLUでの結果とは対照的であり、MMLU-Proがより複雑な推論問題を含んでいることを示唆しています。
参考: artificialanalysis.ai (アーカイブ) — 2026年8月20日 11:29 (JST)
原文ハイライト"MMLU-Pro is a more discriminative benchmark to better track progress"