huggingface.coが2026年11月5日(現地時間)付けで報じたところによると、マルチモーダルエージェントの長期視覚探索における情報整理と視覚証拠利用能力を評価する新ベンチマーク「VisSearch-Bench」が発表された。204の人間が作成したタスクで構成され、既存のマルチモーダルモデル16種類を評価した結果、最良のシステムでもタスク全体の26.47%しか完全に解決できないことが明らかになった。
VisSearch-Benchは、ウェブ検索における長期にわたる視覚探索を評価するために設計された。このベンチマークは、5つの検索カテゴリにわたる204の人間が作成したタスクを含み、7つのドメインと25のサブドメインを網羅する。
タスクでは、エージェントが画像、オブジェクト、および複数の検索ステップを横断して情報を接続し、候補を比較し、視覚的な手がかりを追跡し、完全な回答を生成することが求められる。各タスクには参照回答、追跡可能な証拠、採点ルールが含まれており、評価はタスク全体の成功と個々の結果の正確さおよび完全性の両方を測定する。
ベンチマークの著者の一人であるWu Zhengxian氏のコメントによると、視覚的コンテキストに関する問題はSet-wise Visual Searchカテゴリで顕著に現れた。エージェントが早すぎる停止、情報発見後の検索継続、あるいは以前の誤った推測への回帰といった挙動が見られた。また、関連画像を取得しても記憶や推測から回答を補完するケースや、同じ項目を繰り返し検索し、画像予算を消費してコンテキストを複雑にする例も指摘されている。
さらに、Hybrid Wide–Deep Searchカテゴリでは、エージェントが視覚的チェックを未完了のまま、より進捗しやすいテキスト検索に注力する傾向があることが示された。エージェントは、多数のオブジェクトや証拠が入ってくる中で、どの画像がどのオブジェクトを示し、検索結果がそれとどのように関連するかを追跡する必要がある。そして、これらすべてを完全で一貫性のある回答にまとめる能力も求められる。
参考: huggingface.co (アーカイブ) — 2026年11月6日 05:17 (JST)
原文ハイライト"Across 16 multimodal models, the best system fully solves only 26.47% of tasks"