科学技術論文公開サービスarXivは7月8日(現地時間)、インタラクティブなコードエージェントの新たな評価手法として、ベンチマーク「AgentLens (エージェントレンズ)」を発表しました。従来の評価がタスクの最終結果のみに焦点を当てていたのに対し、AgentLensはエージェントの作業過程全体を詳細に評価します。これにより、エージェントの振る舞いや誤りからの回復過程を深く理解し、性能向上につながる具体的な洞察の獲得を目指します。
AgentLensは、インタラクティブなコードエージェントの評価に特化したプロダクション評価型ベンチマークとして開発されました。一般的なコードエージェントのベンチマークがタスクの合否という単一の指標に集約される傾向がある中、AgentLensはエージェントが指示にどのように従い、適切なツールを使用し、自己検証を行い、間違いから回復し、さらにはユーザーとどのように対話するかの全軌跡を多角的に評価します。
この評価は、客観的なチェックが存在する形式的検証と、大規模言語モデル（LLM）によって生成された軌跡レビュー、およびサイドバイサイド比較を組み合わせることで実施されます。これにより、各実行結果がそのスコアに至った理由を、説明可能な形式で提供することが可能となります。
AgentLensは、モデルのランキング付けに加え、モデルの動作診断、自社開発エージェントの連続するバージョン間での比較、そして夜間評価パイプラインにおける製品の回帰検出など、多岐にわたる活用が期待されています。このベンチマークはオープンソースとして公開されています。
本論文の著者は、Andrey Podivilov (アンドレイ・ポディヴィロフ) 氏、Vadim Lomshakov (ヴァディム・ロムシャコフ) 氏、Sergey Savin (セルゲイ・サヴィン) 氏、Matvei Startsev (マトヴェイ・スターツェフ) 氏、Roman Pozharskiy (ローマン・ポザルスキー) 氏、Maksim Parshin (マキシム・パーシン) 氏、Sergey Nikolenko (セルゲイ・ニコレフスキー) 氏の7名です。
AgentLensの軌跡評価は、コードエージェント開発競争において、モデルの品質保証プロセスとデバッグ効率に構造的な影響を与え得る評価手法として注目されています。
参考: arXiv cs.AI (アーカイブ) — 2026年7月9日 13:00 (JST)