arXiv cs.CVは9月1日(現地時間)、「Don't Just Look, Intervene: Perturbation Based Region Labeling for VQA Images」と題する研究論文を公開した。同論文は、視覚言語モデル (Vision Language Models; VLM) が回答を導き出す際に依存する視覚的証拠を特定するための、反実仮想的根拠付け領域探索 (Counterfactual Search for Grounding Regions; CSGR) と呼ばれる新しい手法を提案している。CSGRは、モデルの回答分布に因果的に影響を与える画像領域を特定し、VLMの視覚的推論を根拠付ける有用な教師信号を生成することを目的としている。
視覚言語モデル (VLM) の視覚的推論を根拠付けるための従来の教師信号は、手作業による高コストなアノテーションや、データセット固有の注釈に依存するという課題があった。この研究では、これに代わるアノテーションターゲットとして、モデル因果的視覚的証拠 (model-causal visual evidence)が導入されている。これは、画像と質問のペアに対し、反実仮想的な介入がモデルの回答分布を変化させる画像領域の集合として定義される。
この原則に基づき提案された反実仮想的根拠付け領域探索 (CSGR) は、スケーラブルなパイプラインとして機能する。まず候補領域を提案し、これらの領域に摂動（perturbs）を与えて回答感度への影響を測定する。そして、複数の判断者からの証拠を集約し、視覚的質問応答 (Visual Question Answering; VQA) データにおける回答に重要な領域を近似する。
研究チームは、CSGRによるアノテーションが有用な教師信号を含むかを評価するため、既存の3つの根拠付け対応型訓練ルーチン、すなわちアテンション・ステアリング (attention steering)、Visual CoTfinetuning、および潜在的視覚的推論 (latent visual reasoning) にCSGRのアノテーションを適用した。これらの実験は、提案されたアノテーションスキームが、領域ラベルを利用する複数の方法において有用な教師信号を提供できるかを検証することを目的としている。
競合する自動領域ラベリングメカニズムと比較した結果、CSGRアノテーションは、クロスエントロピーのみのファインチューニングに対して、ドメイン内およびドメイン外の両方の評価で一貫した改善を示した。この結果は、提案されたラベリングスキームが有用な領域レベルの情報を捉えていることを示唆している。
参考: arXiv cs.CV (アーカイブ) — 2026年9月15日 13:00 (JST)