セレステ・デ・シャンペレア (Celeste De Schamphelaere) 氏ら複数の研究者らは2026年11月5日(現地時間)、言語モデルの残差ストリームの解釈を目的とした新たな手法「最大活性化例メタモデル (MAEMs)」に関する研究論文をarXiv上で発表した。MAEMsは、言語モデルの残差ストリームの方向を、それらを強く活性化するテキスト例にマッピングする言語モデルであり、既存のコーパス検索の限界を克服することを目指す。
この研究は、言語モデルの内部動作を解釈する際、特定の「残差ストリーム」の方向を強く活性化するテキストを見つけるという課題に取り組んでいる。これまでの手法であるコーパス検索では、利用可能なコーパスの内容に結果が限定されるという制約があった。
開発されたMAEMsの目的は、供給された残差ストリームの方向と、MAEMが生成するテキストの活性化とのコサイン類似度を最大化することにある。このラベルフリー強化学習 (RL) 目的は、多様な残差ストリームの方向に対してMAEMsを大規模に適用することを可能にする。
実証実験では、Qwen3.6-27B MAEMが有益なテキスト例を生成することが示された。このモデルは、保持された活性化の反転において、コーパス検索や自然言語オートエンコーダー (NLA) よりも優れた性能を発揮する。また、保持された言語やドメインの大部分において、1000万トークン規模のコーパス検索を上回り、保持されたSAE特徴量の89%を活性化させた。
さらに、MAEMsはステアリングベクトル (steering vectors) の背後にある概念をNLAと同程度に識別し、LoRAバックドア (LoRA backdoors) のペイロードをコーパス検索よりも高頻度で回復できる。一部のモデルのワークスペースにおける内なる独白 (inner monologue)を言語化することも可能であるという。
MAEMsによって生成されたテキスト例は、対象モデルにおける順方向パス (forward pass) を用いて検証できるため、この目的はメタモデルのトレーニングをスケーリングするための根拠のある代替手段となる。
参考: arXiv cs.LG (アーカイブ) — 2026年11月6日 03:54 (JST)
原文ハイライト"Maximally-Activating Example Metamodels (MAEMs), language models which map residual stream directions from a subject model"