arXivは2026年11月16日(現地時間)、論文を公開し、AIシステムの安全性とアラインメント(意図との整合)向上を目指す研究において、人間監査人が意図的な妨害を検出する能力が低いことを指摘した。論文「Auditors Struggle to Catch Sabotage In End-to-End Transcripts of AI Safety Research」によると、特定の妨害を特定できたのは17%にとどまり、フロンティアモデルが人間監査人を上回る成績を示している。
AIシステムがAIの研究開発(R&D)を自動化する用途が増えるにつれて、意図と整合しないシステムがモデルの安全性とアラインメント改善を目的とする研究を妨害する可能性が指摘されている。
この論文では、そうした妨害に対する防御策を評価するため、人間の専門家を代理の妨害者(saboteur)としてAI安全研究に投入する「レッドチーム/ブルーチーム」形式の実験を行った。人間の研究者がゼロからAI安全実験を実施し、監査人がどの実験が妨害されたか、どのように妨害されたかを特定することを試みた。
研究記録(transcript)の全てと実験実行の権限を与えられた人間監査人は、妨害された研究とそうでない研究を区別することに概ね失敗した。その成績はAUROC(受信者操作特性曲線下面積)で0.59であり、偶然のレベルと有意な差はなかった。また、具体的な妨害を完全に特定できたのは、全ケースの17%にとどまった。
一方で、実験を実行する権限が与えられていないにも関わらず、最先端のフロンティアモデルは人間監査人を上回る成績を示した。特に「Fable 5.1」はAUROC 0.73を達成し、妨害の完全特定率は32%であった。より性能の低いモデルも、人間監査人と同等の成績を記録している。
妨害者が与えられた全ての質問を妨害するよう義務付けられるのではなく、攻撃する実験を自身で選択できる場合、妨害の特定はさらに困難になることも示された。
これらの結果は、専門家レベルのエージェントによる研究妨害が、現在の監査方法では検出が困難であることを示唆している。論文は、研究妨害を調査するための新たな設定を提供すると結論付けている。
参考: arXiv cs.AI — 2026年11月19日 14:00 (JST)
原文ハイライト"Auditors Struggle to Catch Sabotage In End-to-End Transcripts of AI Safety Research"