Zongxia Li氏らは7月9日(現地時間)、AIエージェントの能力を測る新たなベンチマーク「Long-Horizon-Terminal-Bench (ロングホライズン・ターミナル・ベンチ)」をarXiv cs.AIで発表しました。従来のターミナルベンチマークが短期間の単純なタスクと最終結果に限定されていたのに対し、新ベンチマークは長期間にわたる複雑なタスクにおけるエージェントの中間的な進捗と部分的な解決策を評価するために設計されています。
Long-Horizon-Terminal-Benchは、実験の再現、ソフトウェアエンジニアリング、マルチモーダル分析、インタラクティブゲーム、科学計算を含む9つのカテゴリにわたる46の長期間タスクで構成されています。各タスクは、参照ソリューションまたはシミュレーションエンジンを備えたTerminal-Benchスタイルの設定に従いつつ、さらに細分化されたサブタスクに分解されます。この設計により、密な中間報酬と部分的な点数付けが可能となり、エージェントが最終目標に到達するかどうかだけでなく、オープンエンドのワークフローでどの程度進行するかを評価できるようになります。
Long-Horizon-Terminal-Benchのタスクは通常、数百のエピソードと数分から数時間の実行時間を要し、一回限りの問題解決ではなく、長期的なプランニング、長コンテキスト管理、反復的なデバッグを重視しています。研究チームは15の主要なモデルを評価し、エージェントがタスクあたり平均9.9Mトークンを消費し、1実行あたり約231エピソードと85.3分の実行時間が必要であることを発見しました。これは、Long-Horizon-Terminal-Benchがこれまでのターミナルベースのベンチマークよりも高い要求を課していることを示唆しています。
評価結果によると、最強のテストモデルでも、部分報酬のしきい値0.95で15.2%のpass@1を達成し、完全報酬のしきい値1.0では10.9%でした。モデル全体の平均通過率は、それぞれのしきい値で4.3%と1.7%でした。これらの結果は、AIエージェントの能力向上にまだ大きな余地があることを示しています。研究チームはさらに失敗モードとエラーパターンを分析し、長期ターミナルエージェントの将来の進歩を支援するためにLong-Horizon-Terminal-Benchを公開しました。
参考: arXiv cs.AI — 2026年7月13日 13:00 (JST)
原文ハイライト"Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading"