arXiv cs.SEは9月25日(現地時間)、Md Shohel Arman（エムディー・ショヘル・アーマン）氏らが執筆した論文「Compact Documentation for Coding Agents: A Benchmark, an Optimizer, and Why It Does Not Transfer」を公開した。本論文は、自然言語によるドキュメントがコーディングエージェントのソフトウェア課題解決に与える影響を調査。改善されたドキュメントは、エージェントが実際のソフトウェアリポジトリの問題に対処する上で有効ではないという、否定的な結果を示した。
この研究では、コーディングエージェントがソフトウェアの課題を解決する上で、自然言語によるドキュメントがどのような役割を果たすかが詳細に調査された。
研究者らは、コード記述を評価するためのラウンドトリップベンチマークを導入。このベンチマークは、記述から再生成されたコードが元のテストを通過するかどうかでスコアを付ける仕組みとなっている。分析の結果、記述の忠実性は完全性（completeness）によって決まり、「長さ（length）」は影響しないことが示された。
ベンチマークを最適化シグナルとして利用することで、完全な忠実度に達し、かつ未知のファイルにも一般化できる記述作成プロンプトが発見された。しかし、研究の主要な仮説であったより良いドキュメントがエージェントの実際のレポジトリ問題解決に役立つかについては、異なる結果がもたらされた。
二つのモデルファミリーと10のリポジトリにわたり、評価が真の改善を検出できることを確認するポジティブコントロールと比較検証した結果、ドキュメントは課題解決に役立たないという結論に至った。ソースコードが存在する状況では、静的なコンパクトドキュメントも、取得されたコンテキストも、問題そのもの単体よりも優れた効果を発揮しなかった。研究者らはこの否定的な結果を、開発したベンチマークと最適化ツールとともに報告し、ドキュメントが有効となる境界条件についても言及している。
参考: arXiv cs.SE — 2026年9月26日 02:42 (JST)