Wenxiao Wang 氏らは2026年7月15日(現地時間)、エージェント最適化手法の継続的な性能向上に関する評価を発表した。arXiv cs.AIで公開された研究論文によると、Wenxiao Wang 氏らがTerminal-Bench 2.0を用いて3つの最適化手法を比較した結果、RELAI’s Verifiable Continual Learning (RELAI-VCL) のみが、新たなタスクの導入後も性能を継続的に向上させることが示された。
多くのエージェント最適化手法で報告される性能向上は、固定されたベンチマークに対する一度限りの最適化に基づいている。しかし、実際に展開されるエージェントにおいては、新たな障害やタスクが時間とともに現れるため、最適化を再帰的に適用する状況での評価が重要となる。本研究は、一度最適化されたエージェントが、最初のラウンドで得られたゲインを損なうことなく、新たに到着したタスクで再度最適化できるかという問いを検証した。
評価はTerminal-Bench 2.0内の困難なタスク群を用いて、二段階の継続学習シナリオで実施された。GEPA（Generalized Policy Amelioration）、Meta Harness、そしてRELAI’s Verifiable Continual Learning (RELAI-VCL) の3つのエージェントハーネス最適化アプローチが、同一の最適化予算の下で比較された。従来の静的な単一フェーズ設定では、全てのメソッドがベースラインエージェントに対して改善を示した。
しかし、新たなタスクが導入されると、各メソッドの性能は大きく分かれた。GEPAによって最適化されたエージェントは、最適化されていないベースラインを下回る転移性能を示した。Meta Harnessは良好な転移性能を示したものの、二度目の最適化予算が与えられた後、それ以上の改善には至らなかった。RELAI-VCLは、未知のタスクに対してポジティブな転移を示し、かつそれらのタスクが最適化目標に組み込まれた後も改善を続け、評価された全ての段階で最高のパス率に到達した。全体の平均パス率ではRELAI-VCLが76.4%を記録し、GEPAの66.0%、Meta Harnessの64.6%、ベースラインの58.7%を上回った。
主要な観察結果として、最適化ゲインが複利的に作用したのは、回帰制御が最適化ループに組み込まれた場合に限られた。これは、汎化に失敗するショートカット的な解決策に対して誘導バイアスを提供したと考えられる。
この研究結果は、エージェントを実運用環境で継続的に改善していくための重要な示唆を与える。
まず、MLエンジニアは、長期的な性能維持と向上を目指すエージェント開発において、RELAI-VCLのような回帰制御を組み込んだ検証可能な継続学習アプローチを主要な選択肢として検討すべきである。特に、時間とともに変化するタスクや環境に対応する必要があるシステムでは、既存手法に見られる性能劣化や改善停滞のリスクを回避する上で有効となる。
次に、エージェントの継続学習システムを設計する際には、最適化ゲインの持続性を確保するために、最適化ループへの回帰制御の組み込みを検討することが不可欠である。これにより、新たなタスク導入後も過去の学習効果を損なうことなく、性能を複利的に向上させる可能性が高まる。
最後に、エージェントの継続的改善能力を評価する際には、Terminal-Bench 2.0のような多段階の継続学習シナリオに対応したベンチマークの活用が推奨される。静的な単一フェーズの評価では見過ごされがちな、運用環境での真の適応能力と長期的な性能変化を把握するためには、このようなベンチマークが、手法選定における重要な判断基準となる。
参考: arXiv cs.AI (アーカイブ) — 2026年7月16日 01:36 (JST)
原文ハイライト"Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0"