MoEモデルのルーティング探索課題を解決するMirrorMoEを提案
Bingcong Li、Hao Ma、Michael Muehlebach、Niao He、Yi Maの各氏は2026年10月15日(現地時間)、大規模言語モデルのスケーリングに用いられるMixture-of-experts (MoE)モデルにおけるルーティング探索の課題と解決策に関する研究論文をarXivで公開した。同論文は、現代のMoEアーキテクチャで一般的に採用されている「fine-grained expert segmentation」と「shared experts」という設計選択が「探索のジレンマ」を引き起こし、MoEモデルの表現力が十分に発揮されていない可能性を指摘した。この問題に対処するため、不要なエキスパートをトークンに応じて抑制することで探索空間を縮小する新手法「MirrorMoE」を提案し、モデルの規模にかかわらず一貫した性能改善を示した。