Tag
3 件の関連記事
Apple ML Researchは2026年8月25日(現地時間)、生成言語モデルの事前学習における「拡大と枝刈り (enlarge-and-prune)」パイプラインを統合する新たな手法「IDEA Prune」を発表した。大規模言語モデルの限られた推論予算内で効率的かつ展開可能なモデルへの需要が高まる中、従来の枝刈り研究でしばしば無視されてきた拡大モデルの事前学習の統合を提唱している。研究チームは、拡大モデルが展開されない場合でも事前学習の価値があるか、および枝刈りモデルの性能向上に向けたパイプライン全体の最適化方法という2つの重要な課題に取り組んだ。
arXiv cs.CLが2026年7月27日(現地時間)付けで報じたところによると、Zhen Huang氏らが大規模言語モデル (LLMs) の事前学習データ処理に特化した新しいフレームワーク「DataOrchestra」を発表した。DataOrchestraは、従来の固定的なデータ処理戦略とは異なり、各データ例のニーズに合わせて処理パイプラインを個別最適化する。0.5Bから7Bのモデルを対象とした検証では、11のベンチマークで既存手法に対する安定した性能向上が確認された。
Allen Institute for AIは2026年5月8日(現地時間)、人間が定義した事前知識に頼らず、データから直接モジュール構造が創発するよう事前学習された新しい専門家混合 (MoE) モデル「EMO」を公開した。EMOは、特定のタスクにおいて総専門家のわずか12.5%を使用するだけでほぼフルモデルの性能を維持できる。同時に、全専門家を使用する際には強力な汎用モデルとしても機能する。