SAEがMoEエキスパートの細粒度な専門性を解明
huggingface.coは2026年11月6日(現地時間)、Sparse AutoEncoders (SAE) を用いてMixture of Experts (MoE) モデルの専門家（エキスパート）が持つ機能の解釈性が示されたとする研究結果を発表しました。この研究では、MoE層の出力にSAEを適用することで、各エキスパートが粗いドメインではなく、より細粒度で具体的な専門分野を持つことが明らかになり、MoEモデルの振る舞いに対する理解を深めるものとして注目されています。