arXiv cs.CRは2026年10月14日(現地時間)、サイバーセキュリティにおけるAIエージェントの能力を評価する新たな動的ベンチマーク「CyberArena」に関する論文を発表した。従来のベンチマークが静的な標的に対する単独評価であったのに対し、CyberArenaは複数のラウンドにわたるリアルタイムの攻撃と防御の対戦形式を採用している。このベンチマークは、進化し続けるサービス環境でエージェントが攻撃者と防御者の両方を務めることで、脆弱性の発見、悪用、パッチ適用の速度と精度を直接テストする。12のLLMエージェントが40の課題で合計466マッチ評価され、単一エージェントのベースラインでは識別できなかったモデル能力の分離に成功した。
CyberArenaは、AIエージェントが実際のサイバーオペレーションと同様に、動的で結合された環境下で互いに適応し合う状況を模倣している。隔離されたサンドボックス内で、2つのエージェントが同一のルールに基づき、継続的に変化するサービスに対して同時に攻撃と防御を行う。これにより、静的な標的は進化する半開型課題へと変換される。
ベンチマークの持続的な利用を可能にするため、自動化されたエージェントパイプラインが継続的に新しい環境を生成、レビュー、検証する。また、対戦形式のコンテストを定量化する難しさに対処するため、試合の動態を攻撃能力、防御能力、およびドメイン固有の能力にわたる統一された多次元スコアにマッピングする動的モデルが導入された。CyberArenaは、サイバーセキュリティエージェントに関する将来の研究のための、適応性と拡張性を持つ実験プラットフォームとしても機能する。
参考: arXiv cs.CR (アーカイブ) — 2026年10月15日 13:00 (JST)
原文ハイライト"CyberArena separates model capabilities where single-agent baselines hit a ceiling."