ポール・カシアニック氏、ブレイン・ネルソン氏、ヤロン・シンガー氏らは7月16日(現地時間)、セキュリティエージェントの評価手法に関する研究論文を発表した。従来の成功率に加えコスト効率を考慮する新たな評価アプローチを提唱し、言語モデルベースのエージェントをCybenchとSplunk BOTS v1の課題で評価、費用対効果を分析した。研究結果は、タスクに応じた性能特性の違いを指摘し、経済的効率性や運用的適合性を重視したベンチマークの必要性を示唆している。この研究は、ML実務者がセキュリティエージェントを選定・導入する際の新たな評価軸を提示する。
この論文は、従来のセキュリティエージェント評価が、脆弱性発見、エクスプロイト開発、ペネトレーションテスト、CTF（Capture The Flag）完了といった攻撃的機能のピーク性能を、豊富な推論予算のもとで測定することが一般的であったと指摘する。しかし、運用的セキュリティにおいては、各推論ステップ、ツール呼び出し、テレメトリー照会、エンリッチメント要求が予算を消費するため、このような評価は不完全であると研究者らは述べている。
本研究では、固定のコストレベルでモデルを比較し、推論費用とツール費用によって性能を分解するアプローチを採用した。その結果、レッドチームタスクとブルーチームタスクでは異なるスケーリング特性を示すことが明らかになった。攻撃的なCTF性能は、テスト時の追加計算量によって向上し、スケールされたオープンウェイトモデルは、フロンティアのプロプライエタリシステムに匹敵しつつもコスト競争力を維持できる可能性が示されている。
一方で、防御的なセキュリティオペレーションセンター (SOC)での調査は、同じようにはスケールしないという。SOC調査の成功は、生の推論予算よりも、規律あるツール利用、テレメトリーナビゲーション、選択的なエンリッチメントに大きく依存すると報告されている。研究者らは、セキュリティエージェントのベンチマークは、タスクの成功だけでなく、経済的効率性や運用的適合性も測定すべきだと提言している。コストを意識したSOCネイティブな評価が、今日実用的に有用なモデルと、防御エージェントが依然として改善を必要とする領域をより明確にするものと見られる。
この研究成果は、MLエンジニアやプロダクトマネージャーに対し、セキュリティエージェントの導入と評価に関する複数の示唆を与える。
- 自社セキュリティ製品評価へのコスト指標導入: セキュリティエージェントの選定において、脆弱性発見率などの性能指標に加え、推論コスト、ツール利用コストといった運用コストを評価軸に組み込むべきである。総所有コスト（TCO）の観点から、長期的な費用対効果を定量的に評価するフレームワークの構築が求められる。
- LLMエージェント導入PoCの設計: 大規模言語モデル（LLM）ベースのエージェントを概念実証（PoC）で導入する際は、初期の成功率だけでなく、限られた予算下での効率的な推論回数やツール呼び出し回数を評価指標に含める。特に防御タスクにおいては、コストを意識した設計が成功に不可欠となる。
- OSSモデルと商用モデルの費用対効果比較: オープンソース（OSS）モデルはスケールによってプロプライエタリシステムに匹敵する性能をコスト競争力をもって達成する可能性がある。そのため、各タスクの特性を考慮し、OSSモデルの活用を含めた費用対効果の高いエージェント選択肢を多角的に検討するべきである。
- SOC向けモデル導入における「規律ある利用」の重視: 防御エージェントの導入においては、単なる高性能モデルの導入だけでなく、ツール利用の規律、テレメトリーナビゲーションの最適化、選択的なエンリッチメントといった運用プロセスとの統合を重視する必要がある。モデルが最大限に効果を発揮するための運用指針を明確化することが求められる。
研究結果は、インタラクティブなウェブサイトで公開されている。
参考: arXiv cs.CR (アーカイブ) — 2026年7月17日 02:54 (JST)
原文ハイライト"Cost-Aware Evaluation of Offensive and Defensive Security Agents"