Artificial Analysis、AIエージェント評価「AutomationBench-AA」発表
Artificial Analysisは7月6日(現地時間)、ZapierのAutomationBenchに対する独立した評価指標「AutomationBench-AA」を発表した。このベンチマークは、AIエージェントが実際のSaaSワークフローをビジネスルールを遵守しつつ自動化できるかを評価する。AnthropicのClaude Fable 5が48.6%、Opus 4.8が48.5%でトップスコアを記録。Google DeepMindのGemini 3.5 Flashが42.6%、OpenAIのGPT-5.5 (xhigh)が42.1%で続いた。