Artificial Analysisは8月20日(現地時間)、大規模言語モデル (LLM) のコード生成能力を評価するベンチマーク「LiveCodeBench」の最新リーダーボードを発表した。この更新で、Gemini 3 Pro Preview (high)が91.7%のスコアで首位を獲得した。同ベンチマークは、LeetCode、AtCoder、CodeForcesといった競技プログラミングプラットフォームから継続的に新しい問題を取り込み、コード生成、自己修復、実行予測といった総合的な能力を評価している。
LiveCodeBenchは、LeetCode、AtCoder、CodeForcesといった競技プログラミングプラットフォームから定期的に新しい問題を取り入れることで、既存のベンチマークが抱える汚染問題に対応するコード評価ベンチマークである。本ベンチマークは、コード生成に加えて、自己修復、コード実行、テスト出力予測といった、現実世界のソフトウェア開発シナリオを反映した包括的なコーディング能力を評価対象としている。
既存の評価ベンチマーク（HumanEval、MBPPなど）は、新しいLLMの開発に伴い、その能力を評価するのに不十分になってきているという背景から、LiveCodeBenchが提案された。LiveCodeBenchは現在、2023年5月から2024年5月の間に公開された500以上のコーディング問題をホストしており、18のベースLLMと34のinstruction-tuned LLMを評価済みである。評価はArtificial Analysisによって独立して実施されている。
本ベンチマークの詳細は、Naman Jain氏、King Han氏、Alex Gu氏、Wen-Ding Li氏、Fanjia Yan氏、Tianjun Zhang氏、Sida Wang氏、Armando Solar-Lezama氏、Koushik Sen氏、Ion Stoica氏らによる論文LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for CodeとしてarXivで公開されている。
最新のリーダーボードでは、Gemini 3 Pro Preview (high)が91.7%で最も高いスコアを記録した。これに続き、Gemini 3 Flash Preview (Reasoning)が90.8%、DeepSeek V3.2 Specialeが89.6%で上位に位置している。
参考: artificialanalysis.ai (アーカイブ) — 2026年8月20日 11:08 (JST)
原文ハイライト"LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code"