ジョン・J・ヴァストーラ氏、不安定な学習の安定条件を提示
ジョン・J・ヴァストーラ (John J. Vastola) 氏は10月26日(現地時間)、学術論文投稿サイトarXiv q-bio.NCで研究論文を発表し、従来の学習アルゴリズム分析において前提とされてきた「情報量の多い勾配が継続的に利用可能である」という仮定に異議を唱えた。同氏は、勾配情報がノイズが多く断続的にしか利用できない状況では学習が不安定になる可能性を指摘し、その安定化のための明確な条件を導き出した。
Tag
#ニューラルネットワーク
4 件の関連記事
ニューラルネット圧縮「SLORR」発表、低オーバーヘッド実現
David González-Martínez氏とShiwei Liu氏は7月9日(現地時間)、ニューラルネットワークの圧縮課題に対応する新たなトレーニング中低ランク正則化フレームワーク「エスラー (SLORR)」を発表した。同フレームワークは、既存手法の計算コストやモデルアーキテクチャ変更の制限を克服し、シンプルかつステートレスなアプローチによりディープラーニングモデルの効率的な運用を促進する。
Apple、機械学習の最大内積探索効率化手法を発表
Appleは2026年7月(現地時間)、機械学習の重要なサブルーチンである最大内積探索（Maximum inner product search, MIPS）を効率化する「amortized MIPS」手法を発表した。この回帰ベースのアプローチは、ニューラルネットワークの訓練を通じてMIPSの解を直接予測することで、既知の分布から引き出されるクエリに対するMIPSの繰り返し実行コストを償却することを目指す。
ニューラルネットワークのグロッキング遅延、重みノルムが時間尺度を決定
トルオン・スアン・カン（Truong Xuan Khanh）氏らの研究チームは2026年6月10日(現地時間)、ニューラルネットワーク（Neural Network）におけるグロッキング（Grokking）現象の遅延発現が、重みノルム（Weight Norm）によって決定されるとする研究論文をarXivに発表した。同研究は、訓練中に重みノルムを直接操作することで、これまで議論の的となっていた重みノルムとグロッキング遅延との因果関係を実験的に解明したと述べている。