MuonとAdamW、事前学習データ規模で微調整性能に逆転現象
Catherine Li らは2026年11月2日(現地時間)、大規模言語モデルの事前学習における最適化アルゴリズムの性能に関する研究結果をarXiv cs.LGに発表した。同研究は、Muonが事前学習損失の最小化においてAdamWよりも高速である一方で、微調整後のダウンストリーム性能においては、十分な規模の事前学習データが存在する場合にAdamWがMuonを上回るという傾向を明らかにした。
Tag
#事前学習
6 件の関連記事
AI生成ウェブテキスト急増、言語モデル学習への影響を新スケーリング則で解明
Jenna Russellらの研究チームが2026年9月30日、AI生成ウェブテキストが言語モデルの事前学習に与える影響を分析した論文をarXiv cs.CLで発表した。ウェブデータ中のAI生成トークンの比率は2026年6月の27.5%から同年8月には31.1%へ上昇したと指摘し、データ不足のモデルではAIトークンの追加が一時的に損失を減らす一方、過剰な追加は逆効果に転じ、データが潤沢なモデルでは早期から損失が増加する傾向を報告した。
言語モデル事前学習データの影響測定に新手法、arXivが論文公開
arXiv cs.CLが2026年8月13日(現地時間)付けで公開した論文によると、言語モデルの事前学習における訓練データの影響を、下流タスクや検証セットに依存せずに測定する新しい手法が提案されました。提案された手法では、勾配更新が最終パラメータへの二乗距離をどれだけ削減するかで例の影響を定義し、再訓練なしで中間チェックポイントからこの量を推定します。
大規模言語モデル、データ時間性考慮で知識獲得 最新情報反映、ピルシェン氏らの研究
ピルシェン・イポリット氏 (Pilchen Hippolyte) を含む研究チームは2026年5月21日(現地時間)、大規模言語モデル (LLMs) の事前学習におけるデータ時間性 (temporality) の影響に関する研究論文をarXiv cs.CL上で公開した。この研究は、LLMsが通常、時間情報がシャッフルされたコーパスで学習され、その知識が学習時に固定されることで、時間的な知識の関連付けが十分に理解されていない現状に一石を投じる。彼らの調査は、LLMsの知識鮮度と正確性を高める新たな道を示唆している。
数学推論向上、言語モデルに構造化データ コード単独より有効
arXiv cs.AIは2026年5月19日(現地時間)、論文を発表し、現代の言語モデル（LM）における数学的推論能力の向上には、純粋なコードよりも構造化された推論シグナルが重要であることを示した。研究者らは10T-tokenのコーパスを用いた事前学習実験を通じて、コードがプログラミング能力を高める一方で、複雑な数学的推論とは競合する可能性を指摘している。この研究は、データ構成の最適化戦略に新たな示唆を与えるものだ。
大規模言語モデル、事前学習と同一オプティマイザで忘却を抑制
arXiv cs.LGが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (LLMs) の学習において、事前学習 (pretraining) と同じオプティマイザ (optimizer) を用いたフルファインチューニング (full finetuning) が、より良好な学習と忘却のトレードオフ (learning-forgetting tradeoff) を達成することが明らかになった。これは、新しいタスクにおける同等またはそれ以上の性能を維持しつつ、忘却を低減させる効果があるという。研究者らはこの現象を「オプティマイザとモデルの一貫性 (optimizer-model consistency)」と命名した。