Red Hatは2026年10月21日(現地時間)、企業環境におけるコーディングエージェントの性能を評価するためのベンチマーク「RH SWE-bench」を発表した。このベンチマークは、Red Hatエコシステム内の25のリポジトリから抽出された357の検証済みタスクで構成され、Go、Python、Cの3つのプログラミング言語を対象とする。既存のオープンソースや学術的な問題に偏りがちなベンチマークとは異なり、実際の企業向けソフトウェア課題に焦点を当てている。
Red Hatが2026年10月21日(現地時間)に公開した「RH SWE-bench」は、実際の企業向けソフトウェア課題に基づき、コーディングエージェントを評価するために設計されたベンチマークだ。Red Hatエコシステムに属する25のリポジトリから抽出された357タスクで構成され、Go、Python、Cの3つの主要なプログラミング言語に対応している。このリリースは、既存のベンチマークが学術的またはオープンソースのコードベースに偏りがちな中で、企業特有のニーズに応えるものとなる。
「RH SWE-bench」の構築プロセスでは、まずRed Hatエコシステムリポジトリから約6,800の候補インスタンスが検討された。この中から531の検証済みインスタンスが保持され、その後233の低品質タスクが除外された。さらに、実際のプルリクエストから派生した78タスクが追加され、最終的に357タスクのコーパスが完成した。これにより、ベンチマークは現実世界の複雑な企業ソフトウェア開発シナリオを反映している。
企業特化型ベンチマークの重要性は、現代の企業が直面する課題をより正確に測定できる点にある。RH SWE-benchは、Red Hatの実際のソフトウェアスタック、つまり生産環境の企業ニーズを反映したリポジトリと課題タイプに基づいて評価を行う。これにより、企業はエージェントが自社の運用現実に近い問題にどのように対応するかをテストすることが可能となる。また、ベンチマークの多言語スコープは、現代の企業システムが多言語で構築されている実情を考慮し、Red Hatのポートフォリオにおけるインフラストラクチャ、システム、アプリケーション層で重要なGo、Python、Cを網羅している。
「RH SWE-bench」は、開発者コミュニティへのアクセスを最大化するため、複数のチャネルを通じて提供されている。データセットはGitHubおよびHugging Faceで公開されており、コンテナ化されたモデルやデータセットを共有するためのRed HatプラットフォームであるHarbor Hubからもアクセス可能だ。この多チャネルリリース戦略は、導入障壁を低減し、より広範な採用を促すことを目的としている。
検証済みの企業特化型ベンチマークのリリースは、コーディングエージェント評価の標準化に貢献する。コーディングエージェントが成熟し、本番環境に導入されるにつれて、実際のエンジニアリング作業を反映したベンチマークは、エージェントの選定、性能比較、能力評価において不可欠となる。「RH SWE-bench」は、評価を汎用的な言語モデルタスクからドメイン固有の測定可能な性能へと移行させるために設計された、専門的なエージェントベンチマークエコシステムの一部を構成する。企業リポジトリへの焦点は、汎用的なコーディングベンチマークとは一線を画し、生産ソフトウェアエンジニアリングワークフローにおけるエージェントの準備状況を評価する際の信頼性の高い参照点を提供する。
参考: agentry.news (アーカイブ) — 2026年11月5日 16:05 (JST)