#ビジョン言語モデル関連記事

arXiv、政治ミーム分析の新ベンチマーク「IRON-Meme」を発表

arXiv cs.AIは2026年10月22日(現地時間)、政治ミームにおけるオンラインの物語構造を体系的に理解するための新たなベンチマーク「IRON-Meme」に関する論文を発表した。この研究は、ソーシャルメディア上で二極化が進む現代において、ミームが個人のアイデンティティ、役割、視点をいかに形成しているかを社会科学理論に基づいて分析する枠組みを提供する。既存研究が抱えるスケーラビリティや理論的根拠の不足といった課題を克服するため、人間がアノテーションした1,110個の政治ミームからなるデータセットを構築し、その詳細な分析結果と9種類のビジョン・言語モデルによる評価結果を詳述している。

OSRewardベンチマーク発表、VLM評価の信頼性課題浮き彫り

arXiv cs.AIは7月30日(現地時間)、コンピュータ利用エージェント（CUA）の評価に用いられるビジョン言語モデル（VLM）の信頼性を体系的に評価する新しいベンチマーク「OSリワード (OSReward)」を発表した。この包括的な評価の結果、最先端のVLMでも理想的な評価者には及ばず、失敗した実行を成功と誤認する「寛大さバイアス」を持つことが指摘された。また、信頼性の高いVLMはコストが高く、手頃な価格のオープンモデルは性能が大幅に劣る現状も浮き彫りになった。