コリニアAI (Collinear AI) は11月3日(現地時間)、大規模言語モデル (LLM) のサイバーセキュリティ能力を評価するベンチマーク「CWE-bench v2」を公開した。本バージョンでは、公開されているオープンソースリポジトリにおけるセキュリティ脆弱性の発見および修正能力を客観的に評価するための100件のタスクを提供する。
コリニアAIは、公開された「CWE-bench v2」において、既存機能を損なうことなくセキュリティ上の弱点を特定し修正することを目的とした、オープンソースリポジトリのセキュリティ脆弱性を発見・修正する100件のタスクを導入した。これらのタスクは91種類の共通脆弱性タイプ (CWE) を網羅しており、モデルが多様な脆弱性を理解し対処する能力を測定する。
採点は完全にプログラム化されており、結果は確定的で誰でも再現可能である。Hugging Face Hub上のリーダーボードによると、評価された11モデル中、Gemini 4 Argonがpass@1で67.8%、pass@4で81.0%の性能を示し、Claude Opus 5.5 (pass@1 67.3%、pass@4 78.0%) を上回った。95のタスクは少なくとも1つのモデルによって解決されている。また、DeepSeek V4.1 Flash、Claude Opus 5.5、Gemini 4 Argonは性能とコスト効率のパレート最適解を構成している。
各タスクは自己完結型のHarborタスクとして提供されており、Hugging Faceリポジトリから直接ベンチマークを実行できる。このデータセットには、防御エージェントのトレーニング報酬としても機能する「rl-environment」タグも付与されている。
参考: Hugging Face Blog (アーカイブ) — 2026年11月3日 09:21 (JST)
原文ハイライト"CWE-bench v2: More coverage, quality, and transparency"