Zongxia Li氏ら17名の研究者は10月8日(現地時間)、AIエージェントが長時間の複雑なワークフローを通じて進捗を持続できるかを測定する新たなベンチマーク「Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0)」を発表した。本ベンチマークは、既存の46タスクを維持しつつ31タスクを拡張し、合計77タスクを13のドメインと8つのタスクタイプで提供。評価期間も最長3時間に延長され、継続的な進捗を直接測定することで、終状態だけでなくプロセス全体の評価を可能にする。
LHTB 2.0は、AIエージェントが単一の終状態への到達だけでなく、数時間にわたる複雑なワークフロー全体でどのように進捗を維持し、成果を達成するかを測定する目的で設計された。これは、既存のLong-Horizon-Terminal-Benchを大幅に拡張し、多様な現実世界シナリオに対応する。
拡張されたタスクは、系統的な再構築タスクパイプラインを通じて生成されている。このプロセスでは、動作する科学的または工学的成果物から開始し、パラメータ化された参照実装を用いて複数のシナリオを生成する。具体的には、生成されたシナリオのうち6つが行動的証拠として公開され、残りの3つはエージェント評価用に保留される。さらに、エージェントが公開された出力を記憶する行為を防ぎつつ、部分的な進捗に適切な報酬を与えるため、密なプログレスラダー（dense progress ladders）と呼ばれる評価手法が採用されている。これにより、エージェントの学習と適応能力をより正確に捉えることが可能となる。
評価プロセスでは、エージェントの実行中に検証チェックポイントが30分ごとに記録され、長時間の作業における持続的な進捗が直接測定される。合計15のフロンティアモデルを用いた1,145回のモデル-タスク実行の結果、「GPT-6-astra」が平均報酬0.69を記録し、37タスクでRが0.95以上の高いパフォーマンスを示してリードした。これに続き、「GPT-5.6-sol」が平均報酬0.67で、32タスクで同様の閾値を達成した。
特に30の再構築タスクにおける評価では、最終的な成果のみを評価する二値検証スコアが平均0.221であったのに対し、密なラダースコアは平均0.653を記録した。この顕著な差は、成果のみの評価がエージェントによる実質的な中間進捗や学習プロセスを見落とす可能性が高いことを明確に示唆している。LHTB 2.0は、AIエージェントが数時間にわたって信頼性高く実行される能力を研究するための、より広範で堅牢な、プロセス認識型のテストベッドを提供するものである。
参考: arXiv cs.AI — 2026年10月15日 13:00 (JST)
原文ハイライト"Automating Diverse Task Construction and Measuring Sustained Agent Progress"