Artificial Analysisは7月6日(現地時間)、ZapierのAutomationBenchに対する独立した評価指標「AutomationBench-AA」を発表した。このベンチマークは、AIエージェントが実際のSaaSワークフローをビジネスルールを遵守しつつ自動化できるかを評価する。AnthropicのClaude Fable 5が48.6%、Opus 4.8が48.5%でトップスコアを記録。Google DeepMindのGemini 3.5 Flashが42.6%、OpenAIのGPT-5.5 (xhigh)が42.1%で続いた。
AutomationBench-AAは、シミュレートされた40のSaaSアプリケーション環境で657のタスクを評価する。これらのタスクは、財務、人事、マーケティング、運用、営業、サポートなど多岐にわたり、Gmail、Google Sheets、Slack、Salesforce、Zendesk、Jira、HubSpotといったアプリ間の連携を必要とする。モデルはREST APIを通じて各アプリと相互作用し、必要なエンドポイントを自律的に発見する設計となっている。
モデルの評価は、Zapierが構築した約12,000のアサーションに基づいて行われる。これにより、エージェントがタスクを正確かつ完全に完了したか、またビジネスルールを表すガードレールを破っていないかを判定する。すべての評価対象モデルでガードレール違反が発生しており、違反あたりの目的達成数ではGemini 3.5 Flashが15.0と最も高い比率を示し、Claude Opus 4.8（max）の13.5を上回った。
費用対効果では、Gemini 3.5 Flashがタスクあたり0.49ドルで42.6%のスコアを達成し、GPT-5.5 (xhigh)の1.32ドルで42.1%というスコアと比較して、約37%のコストで同等のパフォーマンスを提供している。オープンウェイトモデルでは、Z.aiのGLM-5.2 (max)が27.8%でリードしている。タスクの難易度はビジネスドメインによって大きく異なり、財務ワークフローの自動化が最も困難であり、サポートや運用タスクと比較して、目的達成率がおよそ半分にとどまっている。
各モデルの作業スタイルにも違いが見られた。GPT-5.5 (xhigh)は平均49回のツール呼び出しと25回のターンで積極的にタスクに取り組む一方、Claude Opus 4.8 (max)は平均35回のツール呼び出しを14回のターンに集約し、より慎重なアプローチを取った。
参考: artificialanalysis.ai (アーカイブ) — 2026年7月6日 09:00 (JST)