Vercelは2026年7月26日(現地時間)、アプリケーションコード内のサイバーセキュリティ脆弱性を発見するAIモデルの性能を評価するベンチマーク「DeepsecBench」を公開した。このベンチマークは、各モデルのリコール、精度、コスト、総時間を測定し、単一のスコアに統合して性能を評価する。
VercelはDeepsecBenchのリリース背景として、AIモデルが悪意ある攻撃者にとって強力なツールとなり得る一方で、防御側は自社コードベースの知識を持つことで優位に立つ点を挙げた。攻撃者よりも早く内部から脆弱性を発見することの重要性を示している。
DeepsecBenchは、多数の脆弱性が修正される前のオープンソースコードベースを使用し、50のエントリーポイントファイルからなる231の人手による脆弱性 (golden set) に対してモデルを評価する。モデルのスコアはリコールを重視したF2スコアで算出され、ベンチマークの詳細は非公開とされている。
公開されたリーダーボードのサンプルによると、GPT-5.6 Solの「xhigh」設定がスコア35.58でトップの性能を示した。Claude Opus 5、Kimi K3、Grok 4.5などのモデルも評価対象となった。AnthropicのFable 5はセキュリティ業務を辞退するため含まれていない。
Vercelは、AIモデルによるスキャンのコストが低下していることを指摘した。高性能なモデルは高価であるものの、Kimi K3やGrok 4.5といったモデルは費用対効果が高い選択肢となっている。企業は予算やコードベースの複雑さに応じて、複数のモデルを組み合わせたセキュリティスキャンプログラムを構築できるとしている。DeepsecBenchの実行にはAI Gatewayが利用されており、単一のエンドポイントで各モデルにアクセスし、ルーティング、リトライ、フェイルオーバーを自動で行う仕組みを提供する。
参考: Vercel Blog (アーカイブ) — 2026年7月27日 13:00 (JST)
原文ハイライト"DeepsecBench , a benchmark that evaluates how well different models find cybersecurity vulnerabilities"