アーマーン・サンドゥ (Armaan Sandhu) 氏らは2026年8月26日(現地時間)、視覚言語モデル LLaVA-1.5-7B がキャプション生成時に画像にない物体を幻覚する問題に対し、その原因となるアテンションヘッドの解釈可能性に基づいた介入手法を提案する研究論文をarXiv cs.CVで公開した。この研究は、特定のヘッドへの介入が幻覚の発生率を大幅に低減することを示している。
研究チームは、幻覚された物体語の周辺で画像アテンションが低下するアテンションヘッドを特定し、その候補ヘッドをアブレーションすることで幻覚トークンの対数確率の変化を測定した結果、32個のヘッドセットを抽出した。
これらのヘッドに対し、ヘッドスライスLoRAアダプターと推論時グラウンディングコントローラーという2種類の介入を適用した。400枚のCOCO画像を用いた実験では、この複合的な手法により、幻覚された物体を含むキャプションの割合を示すCHAIRsが0.370から0.230へ、幻覚された物体言及の割合を示すCHAIRiが0.156から0.096へそれぞれ低下した。
ランダムなヘッドで訓練されたLoRAコントロールとの比較では、ヘッド選択の役割が重視される結果となった。固定されたデコード予算下でもCHAIR削減は持続し、予算の増加とともにその効果も増大した (64トークンで23%、128トークンで58%)。この手法はサポートされていない物体言及を減少させる一方で、物体リコール (object recall) は0.78から0.70に低下した。本研究は、物体幻覚に対する診断から介入までの一連のパイプラインを提示しており、COLM 2026 Actionable Interpretability Workshop にて採択されている。
参考: arXiv cs.CV (アーカイブ) — 2026年8月27日 13:00 (JST)