Anthropicは2026年7月(現地時間)、AIモデルの知能とタスクの複雑性が増すにつれて、システムのエラーが一貫性を失い予測不能になる「ホットメス」現象を発見したと発表した。同社の研究は、高知能モデルがより複雑なタスクに取り組む際、誤った目標を追求する「系統的なミスアライメント」ではなく、無関係な行動をとる「一貫性のないエラー」に陥る傾向があることを示した。
AIシステムが意図しない目標を追求する「系統的なミスアライメント」とは別に、予測不能で自己破壊的な行動をとる「一貫性のない失敗」、すなわち「ホットメス」として失敗する可能性に焦点を当てた。研究チームは、この仮説をフロンティアAIシステム全体で実証的に測定し、モデルの知能とタスクの困難さによってエラーの性質がどのように変化するかを検証した。
エラーの一貫性のなさを定量化するため、AIエラーを「バイアス」（一貫性のある系統的なエラー）と「バリアンス」（一貫性のない予測不能なエラー）の古典的なバイアス・バリアンスフレームワークを用いて分解した。エラー全体に占めるバリアンスの割合をエラーの一貫性のなさ (error incoherence)として定義し、その値を0（全て系統的エラー）から1（全てランダムエラー）の範囲で測定した。評価には、Claude Sonnet 4、o3-mini、o4-mini、Qwen3といったフロンティア推論モデルを、GPQA、MMLU、SWE-Bench、Model-Written Evalsなどのベンチマークで使用した。
主要な発見として、全てのタスクとモデルにおいて、推論に費やす時間が長くなるほどエラーの一貫性のなさが上昇することが示された。モデルの知能とエラーの一貫性のなさの関係は一貫せず、簡単なタスクでは知能が高いモデルほど一貫性のあるエラーを示したが、最も難しいタスクでは、高知能モデルのエラーはより一貫性を失うか、変化がないことが判明した。さらに、モデルが自発的に長く推論するとエラーの一貫性のなさが劇的に増大する一方、複数のサンプルを統合するアンサンブル化は一貫性のなさを減少させる可能性を示した。
研究チームは、大規模なトランスフォーマーモデルが本質的に動的システムであり、最適化器ではないと指摘している。人間が意図する行動に整合させるには訓練が必要であり、一貫性のある最適化器として機能させるには多大な努力が必要であるとし、この困難はモデルのスケールアップによって自動的に減少するわけではないと結論付けた。
参考: alignment.anthropic.com (アーカイブ) — 2026年7月13日 09:00 (JST)