arXiv cs.CVが2026年7月28日(現地時間)、マルチモーダル大規模言語モデル（MLLM）の原子レベル視覚知覚能力を評価する新しいベンチマーク「パーセプションベンチ (PerceptionBench)」を発表した。既存のベンチマークが推論やドメイン知識の問題と知覚エラーを混同する点を指摘し、純粋な知覚能力の評価を目指す。42の既存ベンチマークからMLLMの初期の失敗点を分析し、知覚に関する10の原子レベル能力を定義した。
パーセプションベンチは、ボトムアップアプローチを採用している。フロンティアMLLMの42の既存ベンチマークにおける応答の初期の失敗点を診断することにより、知覚ブランチが10の原子レベルの知覚能力を定義するエラー分類体系を構築した。
この分類体系に基づいて、研究チームは3,000の検証済み質問を作成した。これらの質問は短く曖昧さのない回答を持ち、それぞれが単一の能力を分離し、推論や知識ではなく知覚に起因する困難さを持つよう設計されている。
ザオ・リン (Zichao Lin)氏ら研究者らが16のフロンティアMLLMを対象に行ったベンチマークの結果、原子レベルの知覚能力が依然として大部分が未解決であることが示された。どのモデルも60%の精度に達しておらず、知覚に関連する幻覚生成（hallucination）が平均して最も弱い能力であることが明らかになった。また、全体的なスコアが似ていても、能力プロファイルは大きく異なっていることも判明した。
パーセプションベンチは、MLLMの視覚知覚の限界を測定し診断するための能力レベルの標準を提供する。
参考: arXiv cs.CV (アーカイブ) — 2026年7月29日 13:00 (JST)
原文ハイライト"evaluate the atomic visual perception capabilities of Multimodal Large Language Models (MLLMs)"