Sourcegraphは2026年7月30日(現地時間)、自社コードベース上でAIコーディングエージェントの性能を評価するための新しい方法論を発表しました。これはコード検索の品質、タスク完了、コストが異なる測定基準であり、それぞれを混同せずに測定する必要があるとの見解に基づくものです。
同社は、より良いコード検索が必ずしもタスク完了の向上に直結しないと指摘しました。Sourcegraph MCPサーバーの評価結果として、構造化検索（structured retrieval）はファイルレベルF1スコアを0.091から0.240に、リコールを0.120から0.272に向上させた一方、総合的なタスク完了報酬は実質的に変化がなかったと報告しています。
コスト面では、ベースラインエージェントが広範囲に検索した場合、構造化検索が15%から51%の削減をもたらしました。しかし、ベースラインエージェントが迅速に作業を特定できた場合には、平均で0.15ドルのコスト増加が発生しました。
タスク完了報酬が横ばいだった要因について、同社は評価対象コーパスの約74%がgrepのみで解決可能であり、多くのタスクが検索改善による影響を受けにくい性質を持っていたためと説明しています。評価セットを構築する際には、エージェントに検索場所を直接指示するタスクを除外し、特定が容易な作業と真の発見を要する作業を区別して報告することを推奨しています。
コードベースのサイズよりも検索の難易度が重要であり、履歴依存の作業や、生成・ベンダー提供・他チーム所有など場所が不明なコードの検索が特に重要だと述べています。Sourcegraph導入前のベースラインエージェントの検索行動（繰り返しのクエリ、広範なファイル読み取り、長い軌跡、高いコンテキスト消費）が、検索難易度のより良い指標となります。Sourcegraphのコスト優位性は、ベースラインエージェントの検索範囲が広いほど強い相関（r = -0.57）を示しました。
具体的には、約20以上の検索、15以上のファイル読み取り、30以上のターン、75,000以上のペイロードトークンを伴うタスクでコスト削減効果が見られました。これにはインシデント対応、コンプライアンス調査、移行、クロスリポジトリトレースなどの作業が含まれるとしています。
参考: Sourcegraph Blog — 2026年7月31日 09:00 (JST)
原文ハイライト"Better code retrieval does not automatically mean better task completion."