「ゲイズヘッド」特定、VLMの画像記述メカニズム解明
arXiv cs.CVは6月12日(現地時間)、視覚言語モデル（VLM）が画像を記述する際の内部メカニズムに関する研究論文を発表した。Rohit GandikotaとDavid Bauによる研究は、言語モデルバックボーン内に「ゲイズヘッド」と呼ばれる特定のアテンションヘッド群が存在し、モデルが記述中の画像領域にその注意が向けられていることを発見。このゲイズヘッドの注意を特定の領域に操作することで、VLMにその領域を記述させることが可能になると報告している。