arXivは8月3日(現地時間)付の論文で、視覚言語モデル (VLM) が医療画像診断において、誤った回答に高い確信度を示す「高確信度エラー」が頻繁に発生していると報告した。脳MRIを用いた行動安全監査の結果、回答された項目の33%から46%が高確信度エラーに該当し、モデルの確信度と信頼性に課題が浮き彫りになった。この研究は、医療画像VLMの評価に際し、正解率だけでなく確信度の信頼性も考慮すべきだと提言している。
Amir Sabbaghziarani氏らが発表した本研究は、フロンティアマルチモーダルシステムにおける広範な失敗モード、すなわちモデルが有能に見えながらも信頼できる自己認識が欠如しているという課題を調査した。研究では、6つのインストラクションチューニングされたVLM（5つの汎用モデルと1つの医療専門モデル）を対象に、脳MRI画像を用いた自動採点による行動監査とパイロットスタディを実施した。
監査には、250人の被験者から得られた4,032枚の軸方向、冠状、矢状MRIスライスと、70枚の非脳/ノイズコントロール画像を含む、合計4,102枚の画像が使用された。これらの画像のラベルは、公開メタデータとリリース済みの専門家によるセグメンテーションマスクから導出された。
モデル全体の回答網羅率はほぼ完全であったものの、言語化された確信度のキャリブレーション（信頼性）は不良であった。Expected Calibration Error (ECE) は0.27から0.40の範囲にあり、不正確な回答における平均確信度は0.82から0.97に達した。最も正確なモデルでさえ、その誤りに対して最も高い確信度を示した。
さらに、汎用モデルと専門モデルの比較から、医療適応は腫瘍の存在検出を改善する一方で、確信度の信頼性を向上させないことが示唆された。開放型診断では、hallucination（幻覚）とabstention（回答拒否）が多肢選択式正解率とは別に変動することが判明した。これらの結果は、医療画像VLMの評価において、正解率だけでなく、言語化された確信度の信頼性、高確信度エラー、幻覚、および回答拒否も報告すべきであると提言している。
参考: arXiv cs.CV (アーカイブ) — 2026年8月5日 13:00 (JST)
原文ハイライト"Confident but Unreliable: A Behavioral Safety Audit of Vision-Language Models on Brain MRI"