arXiv cs.CVは2026年11月16日(現地時間)、ビジョン言語モデル(VLM)が画像を記述する際に、次にどこを見るかを決定するメカニズムを特定した。これまで不明瞭だったVLMの順序計画の仕組みが解明され、4つの主要な部分から構成されていることが明らかになった。Qwen3-VLモデルを用いた合成視覚検索タスクで検証され、その有効性が示された今回の発見は、VLMの動作理解を深め、今後の多段階タスクにおけるモデルの計画方法の研究に貢献すると期待される。

ビジョン言語モデル (VLM) は画像を記述する際、一度に一つのオブジェクトを特定し、重複を避けるが、この順序を計画する仕組みは不明瞭であった。今回特定されたメカニズムは以下の4つの部分から成る。

まず、結合ヘッド (binding heads) が関連するテキストトークンを画像と照合し、一致する画像領域へのポインタに変換する。次に、同じ結合ヘッドが書かれた回答をその元の領域に結合し、モデルはこれを進捗シグナルであるカーソル、すなわち画像内でリストが書き込まれた位置に変換する。第三に、選択ステップ (select step) がカーソル後の最も近い未記述領域を選択するか、処理を停止する。最後に、視線ヘッド (gaze heads) が選択されたポインタを実行し、そこに描かれているものの概念を返し、言語ヘッド (language heads) と後段のMLPがそれを質問の言語で単語に変換する。

このメカニズムは、Qwen3-VLモデルに対して因果的パッチング (causal patching) を行うことで、合成視覚検索タスク上で各部分が検証された。また、代替仮説に対してもメカニズムのテストが行われた。さらに、このメカニズムは入力フォーマット、自然写真、および言語を超えて成立し、その結合、中継、および視線ヘッドが2Bから32Bまでのあらゆるモデルサイズで出現することが示されている。

この研究は、VLMが質問と画像を回答のシーケンスへと層ごとに、トークンごとに変換する過程を調査することを可能にする。また、複雑な多段階タスクにおけるモデルの計画方法を研究する道を開くものとなる。


参考: arXiv cs.CV — 2026年11月17日 03:58 (JST)

この記事をシェア
X はてブ LinkedIn