Artificial Analysisは2026年7月7日(現地時間)、企業向けAIエージェントの新しいベンチマーク「EnterpriseOps-Gym-AA」を発表した。これはServiceNowが開発した「EnterpriseOps-Gym」の独立したリーダーボードであり、AIエージェントが実際の企業運用においてビジネスルールやポリシーに従い、多段階のタスクを完了できるかを評価する。単一のツール呼び出しや読み取り専用の質問に留まらず、不可逆なアクションを伴うライブシステムでの作業を評価する点が特徴である。
EnterpriseOps-Gym-AAは、HR、IT Service Management、Customer Serviceを含む8つのビジネスドメインにおいて、ライブの企業システムで多段階かつステートフルな作業をエージェントが実行する能力を測定する。評価は実行された手順ではなく、基盤となるデータベースの最終状態に基づくSQL検証によって行われる。このベンチマークは、同社のStirrup agent harness上でモデルを実行し、一貫した評価を可能にしている。ServiceNow Research、Mila、およびUniversité de MontréalがEnterpriseOps-Gymの開発に携わった。
初回の評価結果では、Claude Fable 5 (max) が51%で首位を獲得し、Gemini 3.5 Flash (high) が50%で続いた。GPT-5.5 (xhigh) は47%を記録し、オープンウェイトモデルではGLM-5.2 (max) が43%で最高スコアだった。全1,117のタスクのうち、最強のモデルでも約半数しか完了できていない。特にHR (26%) やIT Service Management (28%) といった、構造的でポリシーに厳密に従う必要がある業務が最も困難な領域とされた。
タスクあたりのコストはモデル間で約90倍の差があり、DeepSeek V4 Pro (max) は約0.01ドルで40%のスコアを達成する一方、Claude Fable 5 (max) は約0.93ドルを要した。高コストが必ずしも高スコアにつながるわけではないことが示された。また、Claude Fable 5 (max) は平均6.5ターンと効率的であるのに対し、Gemini 3.5 Flash (high) は13.5ターンを要した。
このリーダーボードはライブで維持され、今後も選定された新しいモデルが追加される予定である。ServiceNowと協力し、ベンチマークの更新にも対応していく。
参考: artificialanalysis.ai (アーカイブ) — 2026年7月8日 09:00 (JST)
原文ハイライト"whether an agent can carry out a multi-step task against a live enterprise environment"