huggingface.coは2026年11月6日(現地時間)、Sparse AutoEncoders (SAE) を用いてMixture of Experts (MoE) モデルの専門家（エキスパート）が持つ機能の解釈性が示されたとする研究結果を発表しました。この研究では、MoE層の出力にSAEを適用することで、各エキスパートが粗いドメインではなく、より細粒度で具体的な専門分野を持つことが明らかになり、MoEモデルの振る舞いに対する理解を深めるものとして注目されています。
SAEは、Qwen3-30B-A3BモデルのMoEブロック出力の特定の層（4、30、46）に対して活用されました。具体的には、2の20乗個の潜在変数と上位k=100の潜在変数を考慮するTopK SAEを訓練することで、モデルの内部動作が分析されました。SAEエンコーダーがアフィン（線形変換と平行移動の組み合わせ）である特性を利用し、各潜在変数の活性化が、活性化されたエキスパート間で正確に分解されることを確認しました。この分解は、合計15億のトークンにわたって集計され、各エキスパートが主に駆動する支配的な潜在変数のセットが特定されました。
主要な発見として、エキスパートの貢献は、モデルのゲーティングメカニズムによる選択よりもはるかに集中している点が挙げられます。ほとんどの潜在変数は1つか2つの支配的なエキスパートのみに関連しており、これらの支配的な潜在変数のセットは各エキスパートに固有であることが判明しました。さらに、エキスパートは従来の粗いドメインよりもはるかに細かい粒度で専門化していることが示されています。例えば、Javaのコードを扱うエキスパートの隣には、フロントエンドWebコードに特化した別のエキスパートが存在し、幾何学を扱うエキスパートは算術や多項式を扱うエキスパートと並列に機能するといった具体的な専門化の例が示されました。
この研究では、層30の128のエキスパートを詳細に分析し、その機能をグループ化することで、大きさの非常に不均等な11の異なるドメインに分類できることを明らかにしました。興味深いことに、これらのドメインの中には、テキスト形式、言語、エンティティ認識、識別子といった、必ずしも特定の主題領域ではない専門性も含まれていることが判明しています。研究チームは、この解釈可能性を促進するため、関連するコード、訓練された3つのSAE、および層30の全128エキスパートの機能をインタラクティブに探索できるツールを公開しています。この成果は、MoEモデルにおけるエキスパート学習のメカニズムに対する理解を深め、将来のより効率的で解釈可能な大規模言語モデルの設計に寄与する可能性を秘めています。
参考: huggingface.co (アーカイブ) — 2026年11月6日 09:07 (JST)