arXiv cs.AIは9月17日(現地時間)、「An Empirical Study of Harness Design for Coding Agents」と題する論文を公開した。この論文は、自律型コーディングエージェントのハーネス設計において、各コンポーネントがモデルの能力をソフトウェアエンジニアリングの性能にどう変換するかを実証的に研究。従来の単一システムとしてのハーネス評価に対し、個々のコンポーネントの有効性を分析し、モデルと予算に応じた設計知見を提示した。
研究は、コーディングハーネスの実行ループを固定した上で、プランニング、アクションスペース、コンテキスト管理の3つのコンポーネントを変化させる軽量ハーネスを採用。これにより、コンポーネントレベルでの比較検証を可能にした。
研究チームは、SWE-Bench VerifiedおよびTerminal-Bench 2.1上で4つのモデルを評価した。5つのコンテキスト管理戦略、4つのコンテキストウィンドウ予算、そしてプランニングとアクションスペースを対象としたアブレーションを含む176のマッチした設定を検証した結果、以下の主要な発見を示した。
- コンテキスト管理は、コンテキストウィンドウの予算が厳しくなるにつれて価値が増大し、その利点の大部分はコンテキストオーバーフローの失敗防止に起因する。
- LLM（大規模言語モデル）ベースの要約に先行してルールベースの省略を段階的に適用することが、コンテキスト管理戦略の中で最も高い全体的な効率を提供する。一方で、省略されたコンテンツを回復可能にしても、モデルがそれを利用することは稀であり、精度向上には寄与しない。
- プランニングは、比較的性能の低いモデルにとっては精度を支える基盤となるが、強力なモデルにとってはコスト削減の手段へと変化し、精度にはほとんど影響を与えない。
- 事前定義されたツールは、bashの熟練度が低いモデルのパフォーマンスを向上させる。一方、bashに対応するモデルはbashのみのインターフェースで効果的に動作し、特にコマンドライン中心のタスクにおいてコストを大幅に削減できる。
これらの効果について、軌道レベルの分析では、コンテキスト管理がエージェントの挙動を実質的に変更せずに実行軌道を延長し、プランニングが軌道の停止場所を変更し、アクションスペースがコードが書かれる粒度を変更することが説明されている。これらの発見は、モデルと予算を考慮したハーネス設計に新たな知見を提供し、将来のハーネスコンポーネントを評価するためのモジュール式フレームワークを提供するとされる。
この論文の著者には、Run-Ze Fan氏、Zihao Zhang氏、Simin Ma氏、Yebowen Hu氏、Shouju Wang氏らが名を連ねている。
参考: arXiv cs.AI (アーカイブ) — 2026年9月18日 02:58 (JST)
原文ハイライト"An Empirical Study of Harness Design for Coding Agents"