#最適化アルゴリズム

MuonとAdamW、事前学習データ規模で微調整性能に逆転現象

Catherine Li らは2026年11月2日(現地時間)、大規模言語モデルの事前学習における最適化アルゴリズムの性能に関する研究結果をarXiv cs.LGに発表した。同研究は、Muonが事前学習損失の最小化においてAdamWよりも高速である一方で、微調整後のダウンストリーム性能においては、十分な規模の事前学習データが存在する場合にAdamWがMuonを上回るという傾向を明らかにした。