LLMのSAE特徴、自然言語で説明する「SAEVerbalizer」発表
ウェイハン・メン (Weihan Meng) 氏らの研究チームは8月13日(現地時間)、大規模言語モデル (LLM) から抽出されるスパースオートエンコーダー (SAE) 特徴を自然言語で説明するフレームワーク「SAEVerbalizer」を発表した。従来のSAE特徴は外部観測に依存し、解釈が表面的で計算効率も低いという課題があった。SAEVerbalizerは、SAEデコーダーの方向をLLMの表現に注入し、下流層をファインチューニングすることで、特徴の自然言語による説明を直接生成するアプローチを採用しており、SAE特徴の解釈性向上に寄与すると期待されている。