arxiv.orgは2026年7月23日(現地時間)、「What AI Red-Team Evaluations Can and Cannot Prove」と題する論文を発表した。同論文は、AIモデルのレッドチーム評価が証明できる範囲とできない範囲を厳密に定義し、評価の「証拠的上限 (evidential ceiling)」を計算可能な形式で導出した。バンダナ・カウル (Bandana Kaur) 氏が執筆した本稿は、特定のハーム率を下回る稀なリスクカテゴリーにおいて、現行のパッシブベンチマークが十分な安全性の証拠を提供できない可能性を指摘している。
バンダナ・カウル (Bandana Kaur) 氏の論文は、AIモデルのレッドチーム評価における証拠的上限 (evidential ceiling)という概念を定義した。これは、与えられたテスト予算の下で、評価が信念を動かすことができる最大の要因として表現され、その境界が計算可能な形式で導き出されたと述べている。
本論文は、AIの安全性評価において特に重要な、特定のハーム率（有害事象の発生率）が計算可能なレベルを上回る場合、適度な規模のベンチマークでも特定の証拠基準に対してモデルが安全なカテゴリに属することを証明できると主張している。さらに、問題が全く発見されないクリーンシートの結果は、単一の再現された失敗よりも強い観察結果として評価されると説明した。その一方で、ハーム率が計算可能な閾値を下回るような稀な有害事象のリスクカテゴリーにおいては、実行可能な規模のパッシブベンチマークでは、固定されたスコアリングルールとほぼ独立した試行構造の下で、指定された安全性の証拠は提供されないと指摘している。
この評価の境界は、単純なベンチマークに限定されず、より複雑な適応型および自動化されたレッドチーム評価にも適用されるという。これは、プロシージャの仮説条件付き抽出率という観点から、どのように証拠的価値を評価するかを明確にする。論文は、攻撃の成功そのものよりも、異なる仮説間を識別する能力が証拠的価値を決定すると示唆している。
カウル氏らは、8つの評価スイートをこの理論的な境界と照合し、現在のベンチマークの有効性を検証した結果を報告している。その分析によると、現在のベンチマークは、高頻度で発生する可能性のあるハームカテゴリの特定には十分な能力を持つものの、稀にしか発生せず、発生した場合には壊滅的な影響をもたらすようなハームカテゴリに対しては、数桁も不足していることが判明したという。これは、現在の評価手法が「テールリスク」と呼ばれる、低頻度だが高インパクトなリスクの検出と評価に課題を抱えていることを示唆している。
論文は、安全ベンチマークが無益ではないが、それらが特定の計算可能な命題セットについてのみ情報を提供すること、そしてどの命題について情報を提供できるのかを明示する必要がある点を強調している。これにより、AIシステムがどの程度安全であるか、またどのようなリスクが未評価のまま残されているかについて、より透明性のある理解が促されるとしている。本研究は、AIのレッドチーム評価が提供できる保証の範囲を明確にし、今後の評価手法の改善に向けた重要な示唆を与えるものと見られる。
原文ハイライト"What AI Red-Team Evaluations Can and Cannot Prove"