OpenAIのチーフサイエンティストであるヤクブ・パチョッキ氏は2026年9月7日(現地時間)付けのエッセイ「An Alien Mind」で、人間を超える知能の出現とその危険性について警鐘を鳴らした。同氏は内部結果に基づき、数年内にAIの再帰的自己改善（RSI）が実現すると予測。現在のモニタリング技術が限界を迎えつつあり、この事態への準備が誰にもできていないと指摘した。OpenAIは必要に応じたスケーリングの抑制を一方的に行うものの、国際的な連携を含む幅広い介入の必要性を訴えている。
パチョッキ氏はエッセイの中で、人間よりも賢い知能が私たちの生涯中に登場すると見込み、その結果に誰も備えていないと述べた。彼はAIのアラインメント（AIが人間の意図や価値観に沿って行動すること）をAI研究の核心的な問題と位置づけ、アラインメントは「ゴールアラインメント」（AIが設定された目標を達成しようとするか）と「バリューアラインメント」（モデルがより高レベルな原則を保持し一般化する能力）に分けられると説明した。特にバリューアラインメントが最も重要であるとしている。
同氏によれば、OpenAIはChain of Thought（CoT）モニタリングに多額を投資してきたが、その有効性は次第に低下しているという。アラインメント技術も不十分であり、モニタリング技術も機能しなくなりつつあると指摘している。2023年半ばの「RLSlow」研究プロジェクトで、推論モデルのトレーニングをスケールできるという確信を得て以来、ヤクブ氏とSzymon氏は私たちの生涯で、私たちよりも意味のある形で賢い機械を見るだろうという事実を処理しようとしてきたと明かした。
現在、推論言語モデルは急速に経済の一部となり、科学の境界を押し広げている。これらのモデルはコンピュータやグラフィカルインターフェースを操作し、人々と協力し、研究プロジェクトを実行できる。同時に、コンピュータセキュリティの状況を変革し、新たな危険をもたらしているという。パチョッキ氏は、現在のAI開発経路が続けば、今後数年のシステムはさらに大きな能力向上を示し、自己開発をますます推進するだろうとの見方を示した。
OpenAIはアラインメントとモニタリングのための技術的解決策を追求し、防御システムを構築し、必要に応じてスケーリングを一方的に抑制する方針だが、同氏はより広範な介入、とりわけ国際的な調整が必要だと考えている。AI能力の進歩は誘導可能であり、現在は再帰的自己改善とautomated alignment researchersの方向に進められていると指摘した。彼はAIスケーリングの主要な論拠が、スケーリングされたAIに対するサイバー防御にあるとも述べている。最終的に、アラインメント作業の加速と能力スケーリングの減速の両方が必要であり、彼はautomated alignment researchersに期待を寄せている。
参考: Don’t Worry About the Vase (Zvi) (アーカイブ) — 2026年9月8日 02:59 (JST)
原文ハイライト"Recursive self-improvement and superintelligence are coming soon. No one knows how to do this safely"