言語モデルの重み更新効果を定量化する「レバレッジ」指標が発表
arXiv cs.LGは2026年10月29日(現地時間)付けで、言語モデルの学習における重み更新の効果を定量化する新しい指標「レバレッジ (leverage)」を導入した論文を公開した。同論文は、事前学習 (pretraining) から後学習 (post-training) に至る各学習段階での重み更新がモデルの振る舞いに与える影響を詳細に分析し、学習精度がレバレッジに与える影響についても言及した。
Tag
#Pretraining
4 件の関連記事
Apple、生成言語モデル事前学習で「拡大と枝刈り」を統合
Apple ML Researchは2026年8月25日(現地時間)、生成言語モデルの事前学習における「拡大と枝刈り (enlarge-and-prune)」パイプラインを統合する新たな手法「IDEA Prune」を発表した。大規模言語モデルの限られた推論予算内で効率的かつ展開可能なモデルへの需要が高まる中、従来の枝刈り研究でしばしば無視されてきた拡大モデルの事前学習の統合を提唱している。研究チームは、拡大モデルが展開されない場合でも事前学習の価値があるか、および枝刈りモデルの性能向上に向けたパイプライン全体の最適化方法という2つの重要な課題に取り組んだ。
大規模言語モデルの事前学習データ処理を最適化する「DataOrchestra」論文発表
arXiv cs.CLが2026年7月27日(現地時間)付けで報じたところによると、Zhen Huang氏らが大規模言語モデル (LLMs) の事前学習データ処理に特化した新しいフレームワーク「DataOrchestra」を発表した。DataOrchestraは、従来の固定的なデータ処理戦略とは異なり、各データ例のニーズに合わせて処理パイプラインを個別最適化する。0.5Bから7Bのモデルを対象とした検証では、11のベンチマークで既存手法に対する安定した性能向上が確認された。
EMO: 事前学習でモジュール性が創発するMoEモデル発表
Allen Institute for AIは2026年5月8日(現地時間)、人間が定義した事前知識に頼らず、データから直接モジュール構造が創発するよう事前学習された新しい専門家混合 (MoE) モデル「EMO」を公開した。EMOは、特定のタスクにおいて総専門家のわずか12.5%を使用するだけでほぼフルモデルの性能を維持できる。同時に、全専門家を使用する際には強力な汎用モデルとしても機能する。