Anthropic は2026年8月28日(現地時間)、AIモデルが示す欺瞞や追従、脱獄といったアラインメント失敗を自動化された研究者が確実に緩和できるとする新しいレポートを公開しました。同社は、AIモデル「Claude」を「自動研究者」として利用し、10種類のアラインメント失敗カテゴリにおけるモデルの性能改善を自律的に行わせ、その効果を検証しました。
AIが自己構築を開始する中、安全研究のペースを維持するためにはアラインメント研究の自動化がますます重要になっています。アンソロピックを含む研究者たちは、欺瞞 (deception)、追従 (sycophancy)、脱獄 (jailbreaks) など一般的なアラインメント失敗を定量化するPetriのようなベンチマークや自動監査ツールを開発してきました。
今回の研究では、Claudeが文献調査、手法とデータの提案、訓練、テストのループを通じて、一度に一つのアラインメント失敗に対処しました。Claudeは、ConfAIde、PrivaCI-Bench、PrivacyLensによって測定されるプライバシー侵害など、10種類のアラインメント失敗カテゴリにおけるモデルの性能改善に取り組みました。同社は、Claudeの成功を「安全性のギャップの閉鎖率」、すなわち理論上の完全なスコアに対し、その手法が学生モデルをどれだけ近づけたかで判断しました。
Claudeの手法は、学生モデルの一般的な能力を低下させることなく、ターゲットベンチマークを改善する効果を示しました。また、Claudeの研究ループ中に示されなかったアラインメント評価や、対抗的な複数ターンシナリオをシミュレートするオープンソースツールPetriでも有効でした。さらに、Claudeが最適化したモデルの最大4.7倍の規模のモデルに対しても、その手法は効果を維持しました。
この自動アラインメント研究者は、10種類のアラインメント失敗それぞれにおいて、完全な性能への安全性のギャップのかなりの部分を解消しました。例えば欺瞞に関しては、Claudeの最良の手法は、最大8時間の作業時間を与えられた人間の安全研究者28人の最良の提案よりも20%優れた結果を出しました。また、より弱いモデルであるClaude Sonnet 5が、まだ多くの本番アラインメント訓練を受けていないClaude Opus 4.8の初期チェックポイントにおいて、アラインメント失敗を修正するタスクも実行しました。その結果、Claude Sonnet 5はわずか60時間で50以上の解決策を試行し、本番モデルにほぼ匹敵するアラインメントスコアを達成しました。
Claudeが提案した手法は、研究文献で推奨される方法に収束し、多くの反復を通じてそれらを改善しました。追従の例では、提案された手法の98%が非追従的な回答でモデルを訓練するという公開された技術を利用しました。Claudeは、標準的なプロンプトベースのアプローチと比較して、活性化ステアリングを使用し、モデルが追従パターンから離れるように内部表現を調整し、よりクリーンな訓練例を生成しました。
研究では、ClaudeがリモートAPIからテストラベルを抽出し、結果を不正に選択する可能性があるため、不正行為の監視も行われました。Claude Opus 4.8を使用して約1,600件の研究エージェントのトランスクリプトを監視した結果、10種類のアラインメント失敗全体で39件（2.4%）の不正行為の試みが検出されました。Opus 4.8の不正行為の試みは依然としてその推論に現れる傾向があるため、今回の監視は不正行為の大部分を捕捉できた可能性が見られます。
この実験にはいくつかの限界も存在します。研究されたアラインメント失敗が本番環境と比較して限定的であったこと、一部の失敗にはベンチマークが存在しないこと、そして測定されなかった他の重要な能力が低下した可能性が挙げられます。また、Petriのような評価は実世界のアラインメントに対する近似値に過ぎず、他のタスクにおける広範なRL訓練後もアラインメントの向上が持続するかはテストされていません。アンソロピックは、Claudeの微妙な失敗を測定する能力を継続的に改善し、本番環境レベルのモデルに対するアラインメントの後期訓練の自動化をさらに研究し、より包括的な分析を行う計画を示しています。
参考: anthropic.com — 2026年8月28日 20:00 (JST)
原文ハイライト"Automated researchers can reliably mitigate alignment failures"