Huatong Song 氏らは2026年8月17日(現地時間)、arXivで公開された論文「ClawGym II: Exploring Black-Box RL on Agent Harness」にて、複雑なエージェントハーネスを通じた一般的なエージェントの安定かつスケーラブルな最適化を可能にする統一ブラックボックス強化学習（RL）フレームワークを発表した。同フレームワークは、Qwen3-30A3Bを用いた実験で、ClawGym-Bench上のPass@1スコアをOpenClawで9.98ポイント、Claude Codeで14.81ポイント改善し、200〜400の最適化ステップにわたって安定性を示した。
論文は、エージェントハーネスが長期間にわたるタスクのパフォーマンスを大幅に向上させる一方で、複雑なハーネスを通じた強化学習が未開拓の領域であるという課題を指摘している。この課題に対し、研究チームは、まずタスク環境とハーネスを一時的なサンドボックス内で分離するサンドボックスベースの実行インフラストラクチャを構築し、大規模な同時ロールアウトを可能にした。
次に、ポリシー最適化を不透明なハーネス実行から分離し、モデル境界にサービングプロキシを配置してモデル呼び出しを捕捉する仕組みを導入した。捕捉された呼び出しは、マルチターントラジェクトリを再構築し、トレーニング効率を向上させるためにプレフィックスツリーに整理される。さらに、クリティックベースのPPOとクリティックフリーのGRPOの両方を、このリカバリーされたツリー構造上で最適化するように適応させた。最適化プロセス全体を通じて、トレーニングと推論の一貫性を維持する。
また、単一モデルが異種ハーネスによって共同で最適化されることを可能にするmix-harness trainingを導入した。このフレームワークは、JobBenchやOfficeQAといったより挑戦的なタスクにおいても一貫した性能向上をもたらすことが確認された。これにより、異種実行システム間での統一的なトレーニングをサポートし、ブラックボックスハーネスを通じた汎用エージェントの効果的で安定かつスケーラブルな最適化を実現する。
参考: arXiv cs.CL (アーカイブ) — 2026年8月18日 01:53 (JST)
原文ハイライト"unified black-box RL framework for stable and scalable optimization of general agents"