Vercelは2026年11月11日(現地時間)、ブログ記事「WTF are evals? How to test agents and the software they use」を公開した。同記事は、自動エージェントがユーザーの代理としてタスクを実行する際のパフォーマンスを測定する評価手法「evals」の重要性と構築方法を解説している。エージェントや、エージェントが利用するAPI、CLI、SDKといったソフトウェアの開発者向けに、その活用を促す内容だ。
記事は、エージェントが現在ではソフトウェアのユーザーであり、人間の代わりに作業を行っていると指摘。これらのエージェントの作業がどれだけ適切に完了するかを測定する手段として「evals」を提示した。evalsは、エージェントが製品を発見し、選択し、アクセスし、最終的に成功するまでの各段階で構築可能であると説明している。
特に、エージェントがユーザーのタスクを正確に完了するかどうかを検証する「Success」段階の評価に焦点を当てた。LLM (Large Language Model) の出力が実行ごとに変動するため、一度の手動テストでは不十分であり、変更前後で同じタスクを繰り返し実行し、結果を評価するevalsが求められるという。
エージェントのソフトウェアテストは、必要なLLM呼び出し回数に応じて、決定論的テスト(0回)、ワンターンevals(1回)、E2E evals(タスク全体で2回以上)に分類される。E2E evalsは、エージェントに環境内でタスク全体を完了させ、最終結果がユーザー要件を満たしているかを検証する。SWE-benchやTerminal-Benchといった一般的なコーディングベンチマークはE2E evalsに該当する。
記事では、コーヒー注文APIを例に、オープンソースフレームワークHarborを活用したE2E evalsの構築方法を詳述。目標設定の重要性や、成功率、Pass@k、Pass^k、効率性(ステップ数、時間、コスト)といった主要メトリクスの定義、さらにClaude CodeとCodexを用いた架空の注文タスクの評価結果例も示している。
参考: Vercel Blog (アーカイブ) — 2026年11月12日 14:00 (JST)