Vercelは2026年11月15日(現地時間)、ブログ記事を公開し、エージェントがソフトウェアのユーザーとなる現代において、その性能を評価する「evals」の重要性を強調した。人間に代わって作業を行うエージェントが製品の利用プロセスを辿る中で、作業の遂行度を測定するevalsが不可欠であると説明している。

Vercelは、エージェントが人間に代わって作業を実行するソフトウェアユーザーとして機能すると指摘する。エージェント自体を構築する場合でも、エージェントが使用するソフトウェア(API、CLI、MCP server、SDK)を構築する場合でも、evals(評価)が作業の遂行度を測定する手段を提供すると述べている。

エージェントも、製品の発見(Discovery)、選択(Selection)、アクセス(Access)、成功(Success)という人間の製品利用と同じファネルを辿る。Vercelは、特に最終段階である「Success」において、エージェントがユーザーのタスクを正確に完了するかを評価することが重要であると強調する。LLMの出力が実行ごとに変動するため、単一の手動テストでは修正の有効性を判断できないとし、evalが同じタスクを繰り返し実行し、結果を採点するテストであると定義する。

エージェントソフトウェアのテストは、必要なLLM呼び出し回数に応じてdeterministic tests(0回)、one-turn evals(1回)、そして「E2E evals(2回以上)」の3つに分類される。この分類は、構築の労力、実行時間、およびコストの目安となるとし、従来のソフトウェアテストピラミッドと同様に、安価で高速なテストがテストスイートの大部分を占めるべきだと指摘する。具体例として、コーヒー注文APISFビーンズ (SF Beans)がiced latteの注文を正しく処理できるかを、ハーバー (Harbor) というオープンソースフレームワークを用いてE2E evalで評価するシナリオが紹介された。


参考: Vercel Blog (アーカイブ) — 2026年11月16日 14:00 (JST)

この記事をシェア
X はてブ LinkedIn