Zhaoyang Wang氏らは11月2日(現地時間)、GUIウェブエージェントの評価とトレーニングを目的とした、安定かつ現実的なインタラクティブ環境「WebHarbor」に関する論文を発表した。この新環境は、実世界のウェブサービスの視覚インターフェース、コンテンツ、機能ワークフローを再現する153の実行可能でDocker化されたウェブサイト環境で構成される。WebHarborは、既存のライブウェブサイト評価におけるコンテンツ変化の速さ、アクセス制限、限定的なカバレッジといった課題を克服することを目指す。
この研究は、ライブウェブサイト評価において従来指摘されてきたコンテンツ変化の速さ、アクセス制限、そして認証済みワークフローにおける限定的なカバレッジといった複数の課題を浮き彫りにしている。また、既存の合成環境では、機能的な深さや視覚的な忠実度が不足しており、現実世界のエージェント開発には不十分であると指摘されてきた。
WebHarborは、タスク駆動型のアプローチと人間とエージェントの協調を通じて構築された。この環境は、新しいタスクが機能範囲を拡張するにつれて進化する仕組みを備えている。具体的には、コーディングエージェントが求められる変更を実装し、人間がその視覚的忠実度、機能的正確性、タスクの有効性を監査する役割を担う。この共同作業の結果、WebHarborはマルチステップおよび認証後のワークフローを含む合計3,518のタスクを網羅する広範なスイートとなった。これまでの研究では、こうした複雑な領域を包括的に扱うことは困難であった。
WebHarborは、単に信頼性の高い評価環境を提供するだけでなく、費用対効果の高い強化学習（RL）のための高忠実度な合成ウェブ環境としても機能する。研究チームは、WebHarbor上でRLを用いてトレーニングされたQwen 4BレベルのGUIエージェントが、未知のタスクに対しても汎用性を発揮し、4つの異なるベンチマークにおいて主要なオープンソースGUIウェブエージェントと同等、またはそれ以上のパフォーマンスを達成することを実証した。関連するコードとデータは、論文と共に公開されたURLを通じてアクセス可能となっており、今後の研究開発を促進する基盤が提供された。
参考: arXiv cs.AI (アーカイブ) — 2026年11月3日 03:57 (JST)