arXiv cs.AIは7月26日(現地時間)、大規模言語モデル（LLMs）による多段階ツール利用エージェントの評価を目的とした新たなベンチマーク「E-Bench」を2026年に発表しました。このベンチマークは、現実世界のプロダクトシナリオを模倣した323のステート変更タスクを特徴とし、「Honor of Kings」「QQ Music」「Tencent Meeting」の三つのドメインを横断します。既存ベンチマークが抱えるスケーラビリティや制御性の課題に対応し、完全に合成された環境とタスクを通じて、より精密な評価を可能にするとしています。
E-Benchは、環境の合成とタスクの合成をそれぞれ分離する独自の設計を採用しています。具体的には、グラフ誘導型データベース充填の手法を用いて、再利用可能かつ独立したプロダクト環境を構築します。これにより、評価環境の一貫性と再現性が確保されます。
タスク生成においては、ジェネレーター・ソルバー非対称性の概念が適用されます。この設計により、エージェントは隠れたデータを発見し、複数のツール呼び出しを連携させて状態変更を行う必要がある、情報ギャップとツールギャップを持つタスクが生成されます。これにより、単純なツール利用では解決できない、より複雑な問題解決能力が問われることになります。タスクの成功または失敗は、データベースの状態差分によって決定論的に評価され、客観的かつ厳密な性能測定が実現されます。
Weihuang Zheng氏らの研究チームは、このE-Benchを用いて11の最先端のLLMsの性能をベンチマークしました。その結果、LLMにおけるマルチステップツール利用は依然として困難な課題であることが浮き彫りになりました。最も性能が高いとされるモデルであっても、その信頼性を示すPass^3のスコアは60%を下回りました。
さらに、コード実行を伴う高度な評価を行うための拡張機能「E-Bench-Code」が導入され、これを使用した場合でも、Pass^3のスコアは70%を下回る結果となりました。これは、LLMが多様なツールを複数段階で連携させ、複雑なシナリオで信頼性の高いタスク遂行能力を発揮するには、依然として大きな改善の余地があることを示唆しています。E-Benchは、LLMエージェントの能力向上に向けた研究開発において、重要な評価基盤となるものと見られています。
参考: arXiv cs.AI (アーカイブ) — 2026年7月27日 00:38 (JST)
原文ハイライト"Benchmarking Multi-Step Tool-Use Agents in Real-World Product Scenarios"