arXiv cs.CVは2026年9月2日(現地時間)、視覚言語モデル（VLMs）における失敗予測を解釈可能にする新手法「FailSAE」に関する論文を発表した。Jie Ma氏、Zongxi Liu氏、Yi Zhu氏らが執筆したこの研究は、Sparse Autoencoders（SAEs）を活用し、既存の予測手法が抱える解釈可能性の限界を克服。リスクを認識したVLMの展開と人間による介入を支援する可能性を示唆している。
視覚言語モデル（VLMs）は、画像とテキストの表現を単一の埋め込み空間で統合し、マルチモーダルタスクで優れた性能を発揮している。しかし、VLMsが高リスクを伴う領域で利用されるにつれて、モデルの失敗を事前に予測する能力は、システムの安全な展開や人間の介入を適切に行う上で極めて重要となる。
既存の失敗予測手法は、信頼度スコアや補助分類器に依存しており、VLMの失敗予測自体には有効とされてきた。しかし、その予測プロセスの解釈可能性には限界があった。本研究では、この課題に対し、Sparse Autoencoders（SAEs）を利用することで、VLMにおける解釈可能な失敗予測のフレームワークを提案している。
研究チームは、失敗予測をSAEのスパースな潜在的活性化に対する分類タスクとして定式化した。さらに、学習された潜在方向が解釈可能性を保ちつつ、失敗予測により有用となるよう促す3段階の失敗認識型訓練パイプラインを導入した。実験結果は、この新しいフレームワークが、評価対象となった既存のベースライン手法と比較して、失敗予測性能において優位性を示すことを明らかにした。
詳細な分析からは、失敗認識型訓練がSAEの潜在方向に対し、よりクラス固有の概念を捕捉するように促進することが示唆されている。また、SAEを用いてモデル表現が失敗時にどのように変化するかを概念レベルで分析した結果、クラス固有の概念から、より曖昧な概念やスタイルに関連する概念へのシフトが観察された。この研究は、学習されたSAEの潜在方向が、ランタイムにおける失敗回復を支援する可能性も探求している。
参考: arXiv cs.CV (アーカイブ) — 2026年9月7日 13:00 (JST)
原文ハイライト"Towards Interpretable Failure Prediction for Vision-Language Models via Sparse Autoencoders"