arXiv cs.CVは7月10日(現地時間)、Shravan Murlidaran氏とMiguel P. Eckstein氏の研究チームが、過去10年間の視覚言語モデル (VLM) の精度向上と視覚認知エラーの進化に関する研究結果を発表した。同研究は、従来のデータセットに加え、新たにComplex Social Behavior (CSB) データセットを導入。その結果、Multimodal Large Language Models (MLLM) が前世代モデルと比較して人間の描写と同程度の精度を達成しつつも、特定の空間依存性エラーが残存していることが示された。VLM評価・採用者は、この残存エラータイプを考慮した性能検証が重要となると見られる。
研究チームは、4種類のpre-Multimodal Large Language Models (pre-MLLM)と5種類のMultimodal Large Language Models (MLLM)について、Complex Social Behavior (CSB)データセットおよびMS-COCOの一部サンプルにおけるシーン描写の精度を評価した。比較のため、20人の人間による描写も「ゴールドスタンダード」として評価対象に含められた。分析の対象となった視覚認知エラータイプは、物体検出 (object detection)、認識 (recognition)、幻覚 (hallucination)、シーン理解 (scene understanding)、および空間依存性 (spatial dependence)の5種類に及んだ。
評価の結果、Complex Social Behavior (CSB)データセットを用いた評価において、pre-Multimodal Large Language Models (pre-MLLM)は人間の低評価の描写よりもはるかに低い精度であったのに対し、Multimodal Large Language Models (MLLM)は人間の高評価の描写と同程度の精度を達成した。Multimodal Large Language Models (MLLM)の登場により、シンプルなMS-COCOのシーンと複雑な行動を描写するComplex Social Behavior (CSB)のシーンとの間のシーン描写精度のギャップが解消されたことが示されている。
また、Multimodal Large Language Models (MLLM)は、テスト対象のデータセットにおいて、人間とは異なる画像領域に依存してシーン描写を行う空間依存性エラーを除き、ほとんどのエラータイプを解消している。シーン描写精度に最も大きな影響を与えるエラーは、物体検出、認識、および幻覚エラーであることが判明した。これらの知見は、過去10年間で視覚言語モデル (VLM) がどのように進歩してきたかについての詳細な評価を提供している。
本研究の知見は、視覚言語モデル (VLM) の選定や導入を検討する実務者にとって重要な示唆を与える。特に、複雑な状況理解を要するタスクではMultimodal Large Language Models (MLLM)の活用が精度向上に寄与する可能性が高い。しかし、空間依存性エラーという人間とは異なる認知傾向が残存しているため、モデルの信頼性を評価する際には、出力がどの画像領域に根差しているかを慎重に検証する必要があるだろう。今後の研究開発では、この空間依存性エラーの要因特定と解消が、モデルの汎用性向上に不可欠な課題として注目されると見られる。
参考: arXiv cs.CV (アーカイブ) — 2026年7月11日 02:53 (JST)
原文ハイライト"Evolution of Accuracy and Visual-Cognitive Errors in a Decade of Vision-Language AI Models"