arXiv cs.LGが2026年9月10日(現地時間)付けで公開した論文が、Mixture-of-Experts (MoE) モデルが学習データの繰り返しに対して、高密度活性化Transformerモデルよりも過学習しやすいことを指摘した。人間が作成したテキストデータの供給が枯渇する中、言語モデルの学習データ繰り返しは一般的な手法となっている。この研究は、MoEの性能劣化がデータの繰り返し率に大きく依存し、その影響がスパース性と共に増加することを示している。
この論文はData Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Dataと題され、Atindra Jha氏、Margaret Li氏、Jure Leskovec氏、Percy Liang氏、Luke Zettlemoyer氏らが執筆した。
研究では、単一および複数ドメインのデータミックス、ならびにエキスパート数と粒度を含むMoEの設定全体でデータ繰り返し率を変動させた。その結果、80Mから1Bのアクティブ（合計8.5B）パラメーターを持つモデルにおいて、MoEがデータ繰り返し下でより急速に性能が劣化することを一貫して発見した。この効果は、アクティブパラメーターではなく合計パラメーターによって決定されるスパース性と共に増加するという。
80Mの高密度モデルが8倍以上のデータ繰り返しで最小限の性能劣化に留まるのに対し、MoEは4倍で性能が低下し始め、32倍の繰り返し後には高密度モデルを下回る性能になる。研究チームは既存の正則化手法を潜在的な対策として実験し、ドロップアウト (dropout) などの一部の手法が過学習を軽減できることを確認した。特に、強力なマスキングベースの正則化を用いることで、データが64回以上繰り返されてもMoEが高密度モデルを上回る性能を発揮できることを示した。
しかし、いかなる手法も、完全にユニークな学習データの性能には及ばないことも判明している。さらに、高繰り返しレジームにおけるMoEの過学習と相関する内部メカニズムを分析し、MoEルーティングが学習の初期段階で普遍的に安定すること、およびエキスパートの専門化が繰り返されたデータへの過学習と相関することを見出した。
参考: arXiv cs.LG (アーカイブ) — 2026年9月11日 02:57 (JST)