Catherine Li らは2026年11月2日(現地時間)、大規模言語モデルの事前学習における最適化アルゴリズムの性能に関する研究結果をarXiv cs.LGに発表した。同研究は、Muonが事前学習損失の最小化においてAdamWよりも高速である一方で、微調整後のダウンストリーム性能においては、十分な規模の事前学習データが存在する場合にAdamWがMuonを上回るという傾向を明らかにした。
この研究では、事前学習データ予算が十分に大きい場合、AdamWが微調整後にMuonを凌駕するという予想外の傾向が示された。さらに、モデルサイズが大きくなるにつれて、AdamWは事前学習のトークンとパラメータの比率が相対的に小さくなってもMuonを上回るようになる。
研究者らはこの逆転現象を説明するため、微調整をアウトプットの摂動と見なし、margin-to-spread ratioという新たな尺度を導入した。この尺度は、正しいロジットが間違ったロジットに対してどの程度高い位置にあり、かつ間違ったロジットがどれほど広範囲に分布しているかを測定する。
言語モデルにおいて、データ予算が少ない場合にはMuonがより大きなmargin-to-spread ratioを示し、データ予算が大きい場合にはAdamWが大きな比率を示すことが観測された。これは微調整の傾向と一致する。線形連合記憶においては、一度の更新後、データ予算の増加とともに勾配降下法のmargin-to-spread ratioがMuonのそれに対して優位に立つことが証明され、シミュレーションによってこの傾向が長期間の学習後も持続することが示されている。
参考: arXiv cs.LG (アーカイブ) — 2026年11月3日 03:56 (JST)
原文ハイライト"beyond a sufficiently large pretraining data budget, AdamW outperforms Muon after fine-tuning."