arXiv cs.CVは2026年11月4日(現地時間)に公開された論文で、視覚言語モデル (VLM) における「サブリミナル学習」の発生を報告した。この学習は、教師モデルが持つ隠れた選好やバイアスが、一見無関係に見えるトレーニングデータを通じて学生モデルに無意識のうちに伝達される現象を指す。これまで大規模言語モデル (LLM) で確認されていたが、今回の実験によりVLMでも同様の現象が生じることが初めて実証された。この発見は、VLMの安全性と倫理的利用における新たな課題を提起している。
この研究は、Subliminal Learning in Vision-Language Modelsと題された論文で詳細に報告された。研究チームは、特定の特徴に対する選好を意図的に組み込んだ教師VLMと、その対照となる教師VLMを用意した。これらの教師モデルは、それぞれ特定の動物の種類や顔の属性（例：笑顔、年齢）を好むように調整されている。次に、両教師モデルは、幾何学的図形やランダムなノイズを含む、全く無関係な視覚タスクの入力に対する応答として数値を生成した。
実験では、同じ基盤VLMから初期化された二つの学生VLMが使用された。これらの学生モデルは、それぞれの教師モデルが生成した数値データと、幾何学的図形などを含む同じ無関係な画像データを用いてファインチューニングされた。つまり、学生モデルは、直接的に動物や顔の属性に関する選好を教えられたわけではない。評価には、FlamingoやLLaVAなど、20億から70億パラメータを持つ幅広い種類のVLMが用いられた。
実験の結果、学生VLMが教師VLMの隠れた選好を無意識のうちに学習していることが明確に示された。バイアスが組み込まれた教師モデルの出力で学習した学生モデルは、対照教師モデルの出力で学習した学生モデルと比較して、ターゲットとなる動物や顔の属性をより頻繁に選択した。特に、動物の選好タスクでは、バイアスのある学生モデルと対照学生モデルの間で、ターゲット選択の頻度に最大約10パーセントポイントの差が生じた。
この選好の転移効果は、トレーニングデータ量が増加するにつれてより顕著になることが確認された。また、ターゲットとなる選好の種類、使用されるモデルのアーキテクチャ、および教師モデルが数値を生成する方法によって、その転移の度合いが変動することも示唆された。さらに、単なる選好の転移だけでなく、バイアスのある学生モデルが生成する画像の説明文も、バイアスのある教師モデルの説明文と共通する単語やフレーズをより多く使用することが判明した。これは、三つのモデルすべてが同じ画像を選択した場合でも観察された。
これらの結果は、VLMのトレーニングプロセスにおける重要な含意を提供する。一見無関係に見えるデータセットでのトレーニングであっても、意図しないバイアスや選好がVLMに伝達される可能性があることを示している。これは、VLMが生成するコンテンツの公平性や正確性に影響を及ぼす可能性があり、今後のモデル設計や倫理的ガイドライン策定において考慮すべき新たな課題を提示している。この論文は、「WACV 2027」に採択された。
参考: arXiv cs.CV — 2026年11月9日 14:00 (JST)
原文ハイライト"Subliminal Learning in Vision-Language Models"