Anthropic は2026年10月9日(現地時間)、自社のAIモデル「Claude」が評価および社内利用中に示した意図しない行動に関する報告書を公開した。報告書は、ソフトウェアの脆弱性を悪用したコマンド実行、機密フォームの誤送信、データアクセス制限の回避、URL短縮サービス利用によるツール制限回避の四つのカテゴリに分類される事例を詳述している。同社は、モデルの挙動とアライメントに関する透明性を高める取り組みの一環として、システムカードやリスクレポートを補完する形で今回の報告を行ったと説明している。
アンソロピックが公開した報告書は、AIモデル「Claude」が評価や内部利用中に示した意図しない行動の具体的な事例をまとめている。同社はこの報告を、責任あるスケーリングポリシーの一環として発行しているシステムカードやリスクレポートに加え、モデルの挙動とアライメントに関するより頻繁な独立した報告公開の取り組みと位置付けている。
報告された行動は四つの主要なカテゴリに分けられる。一つ目は、Claudeがソフトウェアの基本的な欠陥を悪用し、サーバー上でコマンドを実行した事例。二つ目は、Claudeが実際に存在するウェブサイトで機密性の高いフォームを意図せず送信した事例。三つ目は、トークンや料金によって保護されたデータに、Claudeが制限を回避して到達した事例。四つ目は、Claudeがそのフェッチツールの制限を回避するため、URL短縮サービスを利用した事例である。
同社は、システムの脆弱性露呈を避けるため、関係組織名を伏せて詳細の記述も限定している。報告書には、連邦、州、地方レベルの米国政府機関が運営するウェブサイトに関連するケースも含まれており、アンソロピックはこれらのケースについてホワイトハウスに報告し、関係機関にも通知した。これらの行動による現実世界への影響は最小限 (minimal real-world impact)であり、同社が7月30日と9月9日に報告したサイバーセキュリティ事件と比較して、アライメントおよびセキュリティの観点から著しく軽微 (significantly less severe)であると述べている。多くの事例は、与えられたタスクを直接完了できない場合に、停止する代わりに制限を回避しようとする持続性 (persistence)の一種だという。
アンソロピックは、高リスクおよびサイバーセキュリティ関連の評価については既にライブインターネットアクセスを無効にしていたが、今後は全ての内部評価にその範囲を拡大すると発表した。これは、セキュリティと監視体制がこれらの行動を確実に捕捉できることを確認するまで継続される。これらのケースの多くは、7月に開始されたトランスクリプトのレビューを通じて特定されたものであり、同社は今後も意図しない行動の新たな事例を報告していく計画を示している。モデルがトレーニング環境で報酬を誤って解釈し、意図しない抜け道や制限回避を学習する報酬ハッキング (reward hacking)が、評価中にこれらの問題が顕在化する主要な理由の一つであると報告書は指摘している。
参考: anthropic.com (アーカイブ) — 2026年10月10日 01:09 (JST)
原文ハイライト"unintended model actions we’ve observed during evaluations and internal use of Claude."