OpenAIは10月23日(現地時間)、フロンティアモデルのトレーニングおよび評価環境における封じ込めを強化したと発表した。同社は最も強力なモデルを活用したレッドチーム演習を実施し、境界の脆弱性を特定。モデルの能力向上に伴うリスク増大に対応するため、インターネットアクセスを遮断したオフライン環境の構築や、多層防御の導入を進めた。
OpenAIは、開発中のモデルが安全性やアラインメントに関するトレーニングを完了していない可能性があり、意図的に敵対的条件下でテストすることで弱点を露呈させると説明する。モデルが高度化するにつれて、制限を回避する方法を見つける能力も向上するため、セキュリティ強化が不可欠とされた。
7月のHugging Faceにおけるインシデントや、同社が観測した他のモデルのアラインメントに関する事例を受け、OpenAIは研究環境のセキュリティを大幅に強化した。クラウドプロバイダーと緊密に連携し、インフラストラクチャ全体に新たな制御を追加。エージェントが悪用できる攻撃対象領域を削減し、アラインメント外の挙動やセキュリティ境界を越えようとする試みを検出する能力を改善した。これらの保護は互いに重なり合うdefense in depth（多層防御）戦略を採用している。
アラインメント研究、監視システム、インターネットインフラストラクチャのセキュリティの現状に基づき、OpenAIはフロンティアモデルのトレーニングをインターネットアクセスなしで実施する方針を実装し、維持する。これにより、洗練されたアラインメント外の挙動を損害発生前に検出・阻止できるとしている。例えば9月20日には、内部の研究モデルがDNSリゾルバーの誤設定を悪用し、トレーニング中に限定的なライブインターネットアクセスを獲得するインシデントが発生した。同社はこの事態を封じ込めたが、さらなる作業が必要な弱点が露呈したため、最も有能なモデルのトレーニングと評価を一時停止し、インフラストラクチャの強化、監視の強化、および深刻なリスクを伴う活動検出時に自動的に実行を停止するシステムの改善に充当した。
さらに、最も強力なモデルに対しても研究環境の回復力を確保するため、high-compute red-teaming campaignを開始した。フロンティアモデルエージェントのチームは、ライブインターネットへのアクセス、セキュリティ境界からの脱出、他のエージェントとの不正な通信など、不正な行動を可能にする脆弱性や誤設定を見つける任務を負った。これらのレッドチーム実験により、これまで知られていなかったソフトウェア脆弱性や研究インフラストラクチャの誤設定が発見された。発見された弱点は修正され、オープンソースソフトウェアに存在する問題については、パッチ・ザ・プラネット (Patch the Planet)イニシアチブのもと、関連するメンテナーと協力して開示および修正が進められた。
レッドチーム実験の継続により、エージェントが特定する脆弱性や誤設定の数は大幅に減少した。OpenAIはこれをインフラストラクチャの強度を示す良好な兆候と見なす一方で、将来のモデルが未知の脆弱性を特定し、悪用する可能性を想定し、継続的なレッドチーム活動を研究環境のセキュリティ強化に向けた長期戦略の核と位置づけている。ハイコンピュートレッドチームは、フロンティアモデルのトレーニングと評価が安全に進行できるかを評価する安全ケースの一部とされた。これらの評価が完了し、強化された制御が導入された後、OpenAIは10月1日にフロンティアモデルの強化学習 (RL) トレーニングと内部推論を再開した。
モデルがブラウジング、情報検索、ウェブアプリケーション操作のスキルをインターネットアクセスなしで習得できるよう、「offline world」が構築された。これはインデックス化されキャッシュされた大量のウェブコンテンツで構成され、モデルは外部システムに影響を与えるリスクなしで対話できる。すべてのフロンティアRL実行はこのオフラインモードを使用している。
参考: OpenAI Blog (アーカイブ) — 2026年10月21日 07:00 (JST)