Tag
3 件の関連記事
arXiv cs.LGは2026年6月11日(現地時間)、Guo Yu氏らが執筆した論文「Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation」を発表した。本研究は、オンポリシー蒸留 (OPD) におけるモデルのパラメータ変化に焦点を当て、その疎性および幾何学的性質に関する主要な分析結果を提示している。分析は複数の言語モデルと視覚言語モデルのペア、およびユースケースにわたって実施された。
アニス・ラディアニス氏 (Anis Radianis) は2026年5月18日(現地時間)、arXivで公開された論文を通じて、現代の言語モデル学習における不安定性や効率の低下に対応する新たな制御層「Learn-by-Wire Guard (LBW-Guard)」を導入したことを発表した。このLBW-Guardは、既存の最適化手法アダムW (AdamW) の上で動作する。学習プロセス中のテレメトリを観測し、不安定な状況下で最適化実行に制限を適用することで、学習目標を維持しつつ、学習の安定性と効率を大きく向上させるとしている。
Import AIは2026年5月18日(現地時間)、機械学習の最適化手法「Muon optimizer」において、モデルの学習品質を損なう深刻なニューロン機能停止問題が発見されたと報じた。これを受け、研究者らは欠陥を克服する新たなレバレッジ認識型最適化手法「Aurora」を開発。Auroraは既存手法を上回るモデル性能改善と学習効率の向上を実証し、AIモデルの信頼性と性能を高める重要な進展を示している。