Hunar Batra氏らは8月10日(現地時間)、マルチモーダル大規模言語モデル (MLLMs) の内部機能の特定、監査、制御を目的としたフレームワーク「MMDiff」を発表した。MMDiffは、マルチモーダルなスパースオートエンコーダ (SAEs) を訓練することで、機能レベルのインターフェースとしてMLLMの振る舞いを検出し、制御することを可能にする。
MMDiffは、(i)機能分離、(ii)タスク固有の機能検出、(iii)機能レベルの制御という三つの主要な用途をサポートする。
機能分離では、ベースとなる言語モデルのSAEとマルチモーダル適応SAEを比較し、マルチモーダルな訓練プロセスによって変化した機能を特定する。タスク固有の機能検出では、トークンごとの対照的な発火分析を通じて、特定のタスクに関連する因果的な機能を明確にする。機能レベルの制御では、発見された機能の方向を因果的に削除するか、または誘導することで、MLLMの挙動を調整する。
研究チームは、このフレームワークの有効性を検証するため、LLaVA-MORE、PaliGemma 2、InternVL3.5という三つの異なるMLLMファミリーに対してマルチモーダルSAEを訓練した。これらのSAEは、視覚空間理解、マルチモーダル安全性、光学文字認識 (OCR) の各タスクで評価された。
評価の結果、MMDiffが発見した疎で因果的に特定の機能を除去することにより、空間タスクにおけるターゲット行動を平均12%、OCRタスクのパフォーマンスを17%低下させることができた。また、マルチモーダル安全性攻撃に対する攻撃成功率を24%削減しつつ、視覚質問応答 (VQA) 性能には影響を与えないことが示された。さらに、これらの機能を誘導することで、空間およびOCRの精度が、標準の単層誘導ベースラインと比較して平均でそれぞれ3.6%、1.8%向上した。
これらの成果は、マルチモーダルSAEが、単なる解釈ツールとしてだけでなく、MLLMの挙動を監査し、より安全で高性能な生成へと誘導・制御するための強力なメカニズムとして機能することを示している。本論文は、ICML 2026 Trustworthy AI for Good Workshopで採択された。
参考: arXiv cs.CV (アーカイブ) — 2026年8月11日 02:59 (JST)
原文ハイライト"Multimodal Model Diffing for Feature Discovery and Control"