Bingcong Li、Hao Ma、Michael Muehlebach、Niao He、Yi Maの各氏は2026年10月15日(現地時間)、大規模言語モデルのスケーリングに用いられるMixture-of-experts (MoE)モデルにおけるルーティング探索の課題と解決策に関する研究論文をarXivで公開した。同論文は、現代のMoEアーキテクチャで一般的に採用されている「fine-grained expert segmentation」と「shared experts」という設計選択が「探索のジレンマ」を引き起こし、MoEモデルの表現力が十分に発揮されていない可能性を指摘した。この問題に対処するため、不要なエキスパートをトークンに応じて抑制することで探索空間を縮小する新手法「MirrorMoE」を提案し、モデルの規模にかかわらず一貫した性能改善を示した。
Mixture-of-experts (MoE)モデルは、モデルパラメータをスケーリングするための重要なアプローチとして注目されている。現代のMoEアーキテクチャでは、fine-grained expert segmentation（細粒度エキスパート分割）と「shared experts」（共有エキスパート）という二つの設計選択が組み合わされることが多い。
fine-grained expert segmentationは、固定のアクティベーション比率でより多くのエキスパートの組み合わせを可能にすることで、モデルの表現力を向上させる。一方、「shared experts」は、すべてのトークンに対して常にアクティブとなるエキスパートを導入する。しかし、これらの設計選択には「探索のジレンマ」が存在すると論文は指摘する。共有エキスパートの存在は、トークン表現の多様性を低下させることでルーティングの探索性を弱める可能性がある。これは、細粒度エキスパート分割によって組み合わせ的に拡大するルーティング空間が要求する、より広範な探索の必要性と衝突する。
この結果、細粒度エキスパート分割が提供するはずの追加の表現力が、実際には十分に活用されていない可能性がある。この探索のジレンマを解消するため、著者らは「MirrorMoE」と名付けられた新しい手法を提案した。MirrorMoEは、不要なエキスパートをトークンに応じて抑制することで探索空間を縮小し、ジレンマを解決することを目的としている。論文によると、MirrorMoEはさまざまなモデルスケールにおいて、一貫してパフォーマンスを向上させることが確認された。
参考: arXiv cs.LG — 2026年10月16日 02:58 (JST)
原文ハイライト"MirrorMoE is proposed to reconcile this exploration dilemma by shrinking the exploration space"