研究者17名が長期的AIエージェント評価LHTB 2.0を発表
Zongxia Li氏ら17名の研究者は10月8日(現地時間)、AIエージェントが長時間の複雑なワークフローを通じて進捗を持続できるかを測定する新たなベンチマーク「Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0)」を発表した。本ベンチマークは、既存の46タスクを維持しつつ31タスクを拡張し、合計77タスクを13のドメインと8つのタスクタイプで提供。評価期間も最長3時間に延長され、継続的な進捗を直接測定することで、終状態だけでなくプロセス全体の評価を可能にする。