arXivが2026年7月23日(現地時間)付けで公開した論文によると、現代のAIエージェントが使用する複雑な推論ハーネスを、オープンなインフラストラクチャ上でエンドツーエンドで訓練することを可能にするオープンソースフレームワーク「OpenForgeRL」が発表された。OpenForgeRLは、軽量なプロキシとKubernetesオーケストレーターを活用することで、訓練と推論を分離し、多様な環境下でのスケーラブルなエージェント訓練を実現する。
現代のAIエージェントは、多段階の推論、ツール利用、外部システムへのアクセスを管理するためにClaude Code、Codex、OpenClawといった推論ハーネスに依存している。これらのハーネスは強力である一方、ステートフルでマルチプロセスな推論ハーネスをネイティブに表現できないオープンインフラストラクチャのSFT/RLスタックでは、エージェントをエンドツーエンドで訓練することが困難とされてきた。
OpenForgeRLは、ハーネスのモデル呼び出しを処理し、標準的なRLコードベース（例: veRL）の訓練データとして記録する軽量プロキシと、各ロールアウトをリモートコンテナで実行するKubernetesオーケストレーターを組み合わせることで、この課題に対処する。これにより、研究者はエージェントが展開される実際のハーネスや環境で、直接エージェントの訓練、研究、改善が可能になる。
フレームワークの検証では、ツール/クローベースのエージェントおよびマルチモーダルGUIブラウザ・コンピュータ利用エージェントに対し、多様なハーネスと環境で実施された。OpenForgeClawはClawEvalで31.7 pass^3と55.9 pass@3、QwenClawBenchで33.7を達成した。OpenForgeGUIはOSWorld-Verifiedで37.7、Online-Mind2Webで63.0、WebVoyagerで72.3を達成している。これらの結果は、ほぼすべてのベンチマークで同規模のオープンなベースラインを上回り、GUI設定では数倍大きいモデルに匹敵するかそれを上回ると報告されている。
論文では、ZeroClaw、OpenClaw、Codexなどのハーネス選択とRLがエージェントの振る舞いに与える影響も分析されている。一部のハーネスは他のものより学習が著しく難しいこと、RLが自己検証、ツールカバレッジ、多段階計画の完了といったエージェントの信頼性を向上させること、一方でエラー回復のような重要な能力は依然として課題であることが示されている。
参考: arXiv cs.AI (アーカイブ) — 2026年7月24日 02:38 (JST)
原文ハイライト"an open-source framework for training harness-based agents end-to-end in diverse environments"