Haisheng Fu氏らは2026年11月17日(現地時間)、Vision-Language Models (VLM)における視覚的局在化のための新たな層選択手法「WhereBits」を発表した。この手法は、ボックスアノテーションや固定ルールに依存せず、アテンション情報のみで局在化に寄与する層を特定する。arXiv cs.CVが公開した論文で詳細が示されたWhereBitsは、既存手法の課題であったアテンションマップの信頼性低下を克服し、COCOデータセットにおいて高いポインティング精度を達成したと報告されている。

Vision-Language Models (VLM)のアテンションマップは、モデルが画像内で注目している領域を示すが、視覚的局在化においては「アテンションシンク」と呼ばれる現象により、アテンションが特定のトークンに集中し過ぎて信頼性が低下するという課題が指摘されてきた。従来の手法では、こうした課題に対処し、局在化に適切な層を特定するために、多くの場合、ボックスアノテーションなどの追加的なラベル情報や固定された探索ルールを必要としていた。

Haisheng Fu氏らの研究チームは、アテンションそのものが持つ情報から、局在化に最も適した層を特定できることを示した。彼らが提案する「WhereBits」は、VLMが特定の質問に対し、イメージ内でアテンションをどの程度、どの方向に配分するかという変化に着目する。この変化のうち、ラベルなしの質問における「どこを見るか」という情報をビット単位で測定し、これを特定の層が持つ事前情報として利用する。WhereBitsは、この事前情報を、各ヘッドが持つアテンションの寄与度を評価するコントラスティブスコアと組み合わせることで、精度の高い層選択を可能にする。

WhereBitsの手法における3つの設計定数は、ラベル付きのCOCOデータセットを用いて一度だけ設定された。この初期設定後は、新しいモデルや異なる解像度の画像に対しても、一切のラベル情報を用いることなく、ラベルなしの質問のみで機能することが特長である。このアプローチは、8つの異なるVLMにおいて、COCOおよびRefCOCOデータセットで、ボックスチューニングされた層と同等かそれ以上のポインティング精度を達成し、ターゲットトークンのランキングにおいても優位性を示した。具体的には、COCOデータセットでのポインティング精度は0.72に達し、単純な平均アテンションを用いた場合の0.22と比較して大幅な改善が見られた。さらに、追加のトレーニングを必要としないズームイン手法を適用した際に、WhereBitsによって生成されたクロップ領域がV*精度を6.0ポイント向上させたと報告されている。


参考: arXiv cs.CV (アーカイブ) — 2026年11月19日 14:00 (JST)

この記事をシェア
X はてブ LinkedIn