Zero-Shot VLM、デプロイメントシフト下で安全性保証に深刻な欠陥
arXiv cs.CVは2026年8月20日(現地時間)、Jai Kumar Sharma氏とAmartya Dutta氏らによる論文を公開しました。この論文は、Zero-Shot Vision-Language Models (VLMs)における分割適合予測の周辺被覆率が、デプロイメントシフトの状況下でクラス条件付きテール被覆率の深刻な崩壊を経験する可能性を指摘しています。
Tag
#CLIP
3 件の関連記事
Bohan Liu氏ら、CLIPモデルのTypographic Attackへの堅牢性向上手法を提案
ボーハン・リュウ (Bohan Liu) 氏らは2026年7月2日(現地時間)、Contrastive Language-Image Pretraining (CLIP) モデルが画像内の無関係なテキストに誤って影響される「Typographic Attack (TA)」に対し、訓練不要で堅牢性を向上させる新しいメカニズム的解釈手法を発表した。この手法は、Vision Transformer (ViT) の特定のコンポーネントが語彙情報を過度にエンコードする原因を特定し、簡単な介入によってオブジェクト分類におけるTAに対する堅牢性を大幅に改善するとしている。
HANCLIP発表: VLMの否定表現認識能力を強化
Hoang-Bao Le (ホアンバオ・ル) 氏らは6月23日(現地時間)、ビジョン言語モデル (VLMs) の否定表現に対する認識能力を向上させる新たなモデル「ハントリップ (HANCLIP)」を発表した。この発表はarXiv cs.CVに掲載された論文による。従来のVLMsは否定表現に脆弱で、浅い単語共起に依存し、誤解を招くテキスト情報に惑わされる傾向があった。HANCLIPはこの課題に対処するため、埋め込み空間を再構築し、画像が「何であるか」だけでなく「何ではないか」も明示的に符号化する。