arXiv cs.AIは7月30日(現地時間)、コンピュータ利用エージェント（CUA）の評価に用いられるビジョン言語モデル（VLM）の信頼性を体系的に評価する新しいベンチマーク「OSリワード (OSReward)」を発表した。この包括的な評価の結果、最先端のVLMでも理想的な評価者には及ばず、失敗した実行を成功と誤認する「寛大さバイアス」を持つことが指摘された。また、信頼性の高いVLMはコストが高く、手頃な価格のオープンモデルは性能が大幅に劣る現状も浮き彫りになった。
コンピュータ利用エージェント（CUA）はデジタル環境全体で急速に発展しており、その評価、データキュレーション、および強化学習において、エージェントの行動がタスク指示を達成したかを検証することは中心的な要素です。人間による検証やアノテーションでは大規模な検証が困難であるため、この分野ではビジョン言語モデル（VLM）をCUAの実行評価者として利用する動きが広がっています。
しかし、VLM評価者が十分に信頼できるかという根本的な問題は、これまで体系的に検討されてきませんでした。この課題を研究するため、研究者らはOSリワードを導入しました。これは、多様なエージェントバックボーンがプラットフォームを横断して実行した、人間が検証済みの指示によるトラジェクトリを基に、多段階の人間によるアノテーションでグラウンドトゥルースの評価が厳密に付与された、現実的で高品質なベンチマークです。このベンチマークに基づき、真に困難なケースに焦点を当てた挑戦セット「OSReward-Hard」と、きめ細かな効率性およびアライメントスコアリングのための「OSReward-Multi」も導出されています。
VLM評価者の最も包括的な評価では、最先端のモデルでさえ理想的な評価者には及ばず、失敗した実行を成功と誤認する体系的な「寛大さバイアス」を共有していることが確認されました。信頼に足る少数のVLMは大規模に実行するには費用がかかりすぎ、手頃な価格のオープンモデルは性能が大きく劣ります。このギャップを埋めるため、研究者らはCUAコミュニティ向けに推論アノテーション付きトラジェクトリ判断のオープンコーパスOS-Shepherd-100Kを構築し、公開しました。これに基づき、「OS-Shepherd」（9Bおよび35B）と呼ばれるオープン報酬モデルが訓練され、フロンティア商業評価者と比較して30～60%低いコストで、低コスト、安定かつ信頼性の高い報酬シグナルを提供し、その性能に匹敵するとされています。本研究のコード、ベンチマーク、データセット、およびモデルチェックポイントは公開されています。
参考: arXiv cs.AI (アーカイブ) — 2026年7月31日 02:57 (JST)