OSRewardベンチマーク発表、VLM評価の信頼性課題浮き彫り
arXiv cs.AIは7月30日(現地時間)、コンピュータ利用エージェント（CUA）の評価に用いられるビジョン言語モデル（VLM）の信頼性を体系的に評価する新しいベンチマーク「OSリワード (OSReward)」を発表した。この包括的な評価の結果、最先端のVLMでも理想的な評価者には及ばず、失敗した実行を成功と誤認する「寛大さバイアス」を持つことが指摘された。また、信頼性の高いVLMはコストが高く、手頃な価格のオープンモデルは性能が大幅に劣る現状も浮き彫りになった。