arXivは2026年11月17日(現地時間)、視覚言語モデル (VLM) が有害な支援を提供する新たな脆弱性「シーン状態安全脆弱性 (scene-state safety vulnerability)」が特定されたと報じた。同論文は、この脆弱性を評価するためのベンチマーク「SceneSafetyBench」と、体系的な攻撃手法「S3TA」を導入。8つのVLMに対するテストでは、S3TAがモデル平均で71.2%の攻撃成功率 (ASR) を記録し、既存の手法を6.1パーセンテージポイント上回る結果を示した。

Tongxi Wu氏ら複数の研究者が発表した論文は、視覚言語モデル (VLM) が視覚イベントの解釈を通じて、明示的な有害目的の要求なしに有害な支援を提供し得ると指摘した。VLMは、画像とテキストを組み合わせた入力を処理し、推論に基づいて応答を生成する能力を持つが、本研究はその推論過程に潜む新たな安全上の課題に焦点を当てている。

研究チームが特定したのは「シーン状態安全脆弱性」と呼ばれるもので、VLMが特定の視覚的「シーン状態」を誤って解釈することで、意図せず有害な情報や指示を生成してしまうリスクを指す。この脆弱性は、ユーザーが直接的に有害な要求をしていない場合でも発生しうる点が特徴的だ。例えば、モデルが特定の状況を認識し、その状況下で有害な行動を助長するような支援を提供してしまう可能性がある。

この脆弱性を詳細に評価するため、研究チームは新たなベンチマークSceneSafetyBenchを導入した。このベンチマークは、375組の画像と質問のペアで構成され、Initial、Medium、Ultimateという3つの異なる「シーン状態」と、5つの視覚的表現を網羅している。これらの組み合わせによって、VLMが多様な視覚的文脈でどのように反応するかを包括的にテストできる設計となっている。

8つのVLMに対するテストでは、シーン状態の入力が45.6%から72.3%という広範な「攻撃成功率 (ASR)」で有害な支援を引き出すことが明らかになった。これは、VLMが特定の視覚的な手がかりに基づいて、有害な出力を生成しやすい傾向があることを示唆している。

この脆弱性を体系的な攻撃に転換するため、研究では「S3TA」という新しい手法も提案された。S3TAは、有害な目的を特定の「シーン状態」に変換し、画像と質問のペアを個別にクエリ(問い合わせ)することで、VLMの脆弱性を引き出す。その後、得られた応答を組み立てて、より複雑な有害な支援を生成する仕組みを持つ。

7つの「MM-SafetyBench」カテゴリにわたる8つのオープンウェイトおよび商用VLMに対し、S3TAを適用した結果、モデル平均ASRで71.2%を達成した。これは、既存の最も強力なベースライン手法を6.1パーセンテージポイント上回る数値であり、S3TAがVLMの安全上の欠陥を効果的に悪用できることを実証している。

研究ではさらに、既存の安全対策についても評価が行われた。その結果、テキスト側のフィルターや視覚的モデレーションといった従来の安全対策が、今回の「シーン状態安全脆弱性」に対して限定的な保護しか提供しないことが示された。これは、VLMの安全性を確保するためには、入力コンテンツのスクリーニングといった表面的な対策を超え、モデルが「シーンに基づいた推論」を通じて提供する支援そのものを保護する必要があることを浮き彫りにしている。

この発見は、VLMの開発者に対し、より複雑で文脈に応じた安全メカニズムを設計するよう促すものだ。特に、モデルが視覚情報からどのような推論を行い、その推論が意図しない有害な結果を招かないかを深く検証する必要性が高まっている。


参考: arXiv cs.CV — 2026年11月18日 03:48 (JST)

原文ハイライト

"Reading Scene States: Uncovering Safety Failures in Vision-Language Models"

この記事をシェア
X はてブ LinkedIn