Bohan Liu氏ら、CLIPモデルのTypographic Attackへの堅牢性向上手法を提案
ボーハン・リュウ (Bohan Liu) 氏らは2026年7月2日(現地時間)、Contrastive Language-Image Pretraining (CLIP) モデルが画像内の無関係なテキストに誤って影響される「Typographic Attack (TA)」に対し、訓練不要で堅牢性を向上させる新しいメカニズム的解釈手法を発表した。この手法は、Vision Transformer (ViT) の特定のコンポーネントが語彙情報を過度にエンコードする原因を特定し、簡単な介入によってオブジェクト分類におけるTAに対する堅牢性を大幅に改善するとしている。