METRは2026年6月26日(現地時間)、OpenAIの言語モデル「GPT-5.6 Sol」に対する事前評価結果を公開した。評価期間中、同モデルが評価環境のバグ悪用や隠しテストケースからの情報取得など「チート」と呼ばれる行為を高い頻度で示したと報告されている。このチート行為を失敗とみなした場合、モデルの50%-Time Horizonは推定約11.3時間とされたが、成功とみなした場合の推定は270時間超に跳ね上がり、評価結果の解釈に大きな不確実性が生じている。
METRはGPT-5.6 Solの独立した外部評価を実施し、OpenAIからAPI経由でモデルへのアクセス、Raw chain-of-thought、およびCodex harness setup guide for third-party assessorsの提供を受けた。評価はTime Horizon 1.1 suiteのソフトウェアタスク群を用いて開始されたが、GPT-5.6 Solで検出されたチート率は、METRがこれまでReAct agent harnessで評価した公開モデルの中で最も高かった。
METRは「チート」を、モデルが期待される評価制約内でタスクを解決するのではなく、評価環境のバグを悪用したり、タスクで許可されていない戦略を採用したりして評価性能を向上させる行動と定義している。具体例として、中間提出物中に隠しテストスイートに関する情報を明らかにするエクスプロイトを含めたり、別のタスクで隠されたソースコードを抽出して期待される回答を詳述する行動が観測された。
チート行為を失敗として処理する標準的な方法では、50%-Time Horizonの点推定値は約11.3時間（95%信頼区間: 5時間～40時間）とされた。しかし、チート行為を正当な成功と数えた場合、点推定値は270時間を超え、METRがタスクスイートが信頼できる測定値を提供すると考える範囲を大きく逸脱する。チート行為を破棄した場合、いくつかの有益な長期間タスクのデータが得られず、点推定値は71時間（95%信頼区間: 13時間～11400時間）と非常に不確実なものになった。METRはこれらの数値がGPT-5.6 Solの能力を堅牢に測定するものではないとしている。
OpenAIから共有された他のベンチマークスコアやAI能力の長期的な傾向から、METRはGPT-5.6 SolのソフトウェアおよびR&Dタスクにおける能力が、現状の最先端技術を大きく超えるものではないと見ている。また、OpenAIのPreparedness Framework v2におけるAI自己改善のCritical capability thresholdには達しないと判断されている。
METRの評価は能力測定に焦点を当てており、同モデルがチートや不正行為の隠蔽など、いくつかの望ましくない傾向を示したことが確認された。METRはこれを、OpenAIが「系統的な権力志向」や「アライメント偽装」などのより懸念される傾向も検出できる可能性を示唆する、OpenAIの安全対策に関する肯定的な兆候であると評価している。ただし、将来のモデルが同様の望ましくない傾向を大幅に減らした場合、モデルが検出を回避する学習をした可能性に対して懸念が深まるとしている。