Seojeong Park氏らの研究チームは2026年6月1日(現地時間)、マルチモーダル大規模言語モデル（MLLM）が評価者として機能する際に生じる「知覚判断バイアス (Perceptual Judgment Bias)」の軽減に関する研究論文を発表した。このバイアスは、視覚的証拠とテキスト情報が矛盾する状況で、MLLMが知覚的に正しい答えよりも、より一貫性のある物語を優先してしまう傾向として特定されており、評価の一貫性を著しく損なうと指摘されている。本研究はarXiv cs.CVで報じられ、ICML 2026での発表が予定されている。
マルチモーダル大規模言語モデル（MLLM）は、画像とテキストを統合して理解する能力から、評価者としての応用が期待されています。しかし、既存のMLLM評価器には知覚判断バイアス (Perceptual Judgment Bias)という課題が内在していました。このバイアスは、モデルが視覚情報とテキスト情報の間で矛盾に直面した際、自身の視覚的知覚よりも、より説得力のあるテキスト応答に依存してしまう傾向として現れます。例えば、視覚的に明らかな誤りがあるにもかかわらず、その誤りを指摘するテキスト応答がなければ、モデルは誤りを見過ごし、与えられたテキストに基づいて判断を下してしまうことが頻繁に観察されていました。このような振る舞いは、特に制御された視覚的摂動が加えられた環境下で顕著となり、MLLM評価器の信頼性と一貫性を大きく損なう要因となっていました。
この深刻な問題に対処するため、Seojeong Park氏らの研究チームは、新たな手法としてPerceptually Perturbed Judgment Dataset（知覚摂動判断データセット）を導入しました。このデータセットは、意図的に視覚的エラーを導入し、これに対応する反事実的な応答を最小限の編集で構築することで、MLLMが視覚とテキストの矛盾に直面した際の判断を詳細に分析し、知覚的エラーを効果的に分離することを可能にします。これにより、モデルがどの情報源（視覚的知覚か、テキスト応答か）に重きを置いているかを検証可能な形で特定し、その上で教師信号を生成することを可能にします。
このデータセットを基盤として、研究チームは、構造化されたGenerative Ranking Policy Optimization (GRPO) ベースの報酬と、バッチランキング目的を組み合わせた統合トレーニングフレームワークを開発しました。このフレームワークは、明示的なペアワイズラベル（どの応答がより良いかを示す直接的な比較データ）なしに、モデルが知覚的忠実度に基づいた一貫性のあるグローバルな順序付けを学習できるように設計されています。GRPOは強化学習の一種であり、報酬モデルを通じて、モデルがより知覚的に正確な判断を下すように誘導します。バッチランキング目的は、一度に複数の応答を比較し、それらの相対的な優劣を学習させることで、モデルの評価能力を全体的に向上させます。
多様なMLLM評価者ベンチマークを用いた広範な実験により、提案されたアプローチが、知覚的忠実度、評価のランキング一貫性、および人間の評価との整合性において、既存手法を大幅に上回る改善をもたらすことが実証されました。これらの成果は、MLLMが視覚情報とテキスト情報の衝突に直面しても、知覚的に根拠があり、解釈可能で、かつロバストな判断を下せるように訓練するための、スケーラブルで汎用的な方法論を確立するものです。この研究は、信頼性の高いMLLM評価器の開発に向けた重要な一歩であり、将来のマルチモーダルAIシステムの精度と応用範囲の拡大に寄与すると期待されています。
参考: arXiv cs.CV (アーカイブ) — 2026年6月2日 02:59 (JST)
原文ハイライト"Perceptual Judgment Bias"