Jiahang Lin氏ら研究チームは2026年11月18日(現地時間)、エージェントハーネスの進化をユーザー要求中心に進める新たな手法「Agentic Harness Engineering Beta (AHE-Beta)」を発表した。この手法は、既存のハーネス進化方法が暗黙的な要求やインタラクションの必要性を見過ごし、ベンチマークに特化した改善に陥りがちであった課題に対応し、現実世界でのエンジニアリング実践を取り入れている。

発表されたAHE-Betaは、要求中心のループでハーネスの進化を推進する。このループは三つのステップで構成される。まずUser-driven evaluationでは、シミュレートされたユーザーが複数のターンにわたってハーネスと連携しながら、自身の要求を問題として提起する。次にTeam-based modificationでは、これらの要求が、タスク固有のパッチではなく、汎用的な変更として実装される。最後にRequirement-driven selectionでは、検証済みの要求を解決し、レビューを通過した場合にのみ変更がマージされる。

実証実験において、AHE-Betaは評価対象外のタスクでpass@1のスコアを21.9%から33.3%に向上させ、Base Harnessと比較して40.8%少ないトークンで動作した。また、Claude Code、Meta-Harness、既存のAHEよりも高いpass@1を達成している。ブラインド形式の人間によるA/Bテストでは、有効な48ペアのうち31ペアで実際のユーザーがAHE-Betaを好み、5つの評価次元全てで高い評価を与えた。これらの結果は、AHE-Betaがハーネスの進化を現実世界のユーザー要求に合わせるという目標を達成していることを示している。さらに、その効果はGLM-5.3およびDeepSeek-V4.1-Flashにも転移し、Base Harnessに対してそれぞれ15.8%および5.3%のpass@1改善をもたらした。これらの結果は、要求中心のハーネス進化がエージェントの能力を向上させるより一般的な手法であることを示唆している。


参考: arXiv cs.SE (アーカイブ) — 2026年11月19日 03:52 (JST)

原文ハイライト

"Agentic Harness Engineering Beta: Requirement-Centered Evolution of Agent Harnesses"

この記事をシェア
X はてブ LinkedIn