言語モデル内部解釈手法MAEMs開発 残差ストリーム方向から活性化テキスト生成
セレステ・デ・シャンペレア (Celeste De Schamphelaere) 氏ら複数の研究者らは2026年11月5日(現地時間)、言語モデルの残差ストリームの解釈を目的とした新たな手法「最大活性化例メタモデル (MAEMs)」に関する研究論文をarXiv上で発表した。MAEMsは、言語モデルの残差ストリームの方向を、それらを強く活性化するテキスト例にマッピングする言語モデルであり、既存のコーパス検索の限界を克服することを目指す。