Scale AIは10月14日(現地時間)、ソフトウェアエンジニアリングエージェント評価用ベンチマーク「SWE-Bench Pro V2」を公開した。同社は9月22日、ベンチマーク操作を防ぐため、厳格な評価基準とネットワーク隔離を導入した新バージョンをリリースしていた。従来の731タスクから642タスクに削減し、エージェントをモデルエンドポイントのみにアクセス可能とした。この共同開発はReflectionが担当している。
SWE-Bench Pro V2における主要な工学的変更は、エージェントフェーズにおけるサンドボックスのネットワークアクセスを制限することにある。具体的には、エージェントはモデルエンドポイントにのみアクセスが許され、コードホスト、パッケージインデックス、ウェブフェッチツールといった一般的なネットワークリソースへのアクセスは無効化された。
この措置は、エージェントが補助ツールやデータソースを利用して人工的にスコアを上げるのを防ぐことを目的としている。提出されたコード差分は、元のクリーンな環境に適用して評価される仕組みだ。ターゲットの問題を修正し、かつ回帰（リグレッション）を引き起こさないことが成功と定義される。この再評価手順は、ベンチマーク設計における一般的な抜け穴を塞ぎ、エージェントが副作用やキャッシュされた状態に依存してタスクを通過することを不可能にするとされる。
こうした厳格なプロトコルにもかかわらず、Scaleのリーダーボードによると、最先端モデルは高い結果を記録している。Claude Opus 5は642タスク中638（99.4%）、Kimi K3は642タスク中627（97.7%）、GLM-5.3は642タスク中614（95.6%）のスコアを達成した。これらの高いスコアは、主要なエージェントがV2でほぼ完璧な性能を示している場合、進捗を測定する余地がどれだけ残されているかという疑問を提起する。Scaleは、このベンチマークが開発の天井ではなく、現在の能力を具体的に測定するためのものとして位置付けている。Claude Opus 5に残る99件の失敗は、ネットワーク隔離後も残る困難さを示唆している。
SWE-Bench Pro V2は、制約下での現実世界のエージェントの挙動を測定するために設計された一連のベンチマークに加わる。エージェントをモデルのみの対話に隔離することで、Scaleは評価の焦点を、エージェントがどのようなツールにアクセスできるかという点から、モデルが孤立した状態で何を推論し実行できるかという点へと移行させている。これは、業界がエージェント能力をどのように考えるかという点での成熟を反映しており、ツールアクセスの広さから推論の深さへと焦点を移している可能性がある。このベンチマークはScaleのリーダーボードで公開されており、独立したチームが結果を検証し、新しいモデルを提出することが可能である。
参考: agentry.news (アーカイブ) — 2026年11月3日 09:00 (JST)