Artificial Analysisは10月29日(現地時間)、コーディングエージェントの現実世界における性能を測定する新たなベンチマーク「Artificial Analysis Coding Agent Index v2.0」を発表しました。この指数は、ソフトウェアエンジニアリングタスクにおけるコスト、トークン使用量、実行時間などを評価基準としており、エージェントやモデル、実行設定ごとの性能変化を詳細に比較します。
Artificial Analysis Coding Agent Index v2.0は、3つの主要なベンチマークで構成されています。
具体的には、Cognitionが開発した100のソフトウェアエンジニアリングタスクを含むFrontierCode v1.1、Laude Instituteが提供する66のエージェントのターミナル使用タスクを評価するTerminal-Bench 4.0、そしてScale AI提供の124の技術Q&AタスクでArtificial Analysisがグレーディングを調整したSWE-Atlas-QnA-AAが挙げられます。各ベンチマークスコアは、タスクごとに3回の試行の平均スコアに基づいて算出され、Indexはこれら3つのベンチマークコンポーネントに等しい重みを付与しています。
測定項目には、タスクごとの平均実行時間（Time per Task）やタスクごとの平均APIコスト（Cost per Task）、トークン消費量（Token Usage）が含まれます。コストはAPIごとのトークン課金に基づいており、消費者向けプランやシステム運用費用は測定対象ではありません。実行時間はエージェントがアクティブに動作していた期間を示し、環境の起動時間などは含まれません。さらに、安全性に基づくタスク拒否率（Safety Refusal Rate）や、ソリューション資料への不正アクセスなど整合性違反による報酬ハッキング率（Reward Hacking Rate）も評価項目となっています。評価対象のモデルには、Anthropic、Google、OpenAI、Meta、Z AI、Mistral、DeepSeek、SpaceXAI、Kimi、Reflectionなどが挙げられています。
参考: artificialanalysis.ai — 2026年10月30日 09:00 (JST)