#ニューラルネットワーク関連記事

ニューラルネット圧縮「SLORR」発表、低オーバーヘッド実現

David González-Martínez氏とShiwei Liu氏は7月9日(現地時間)、ニューラルネットワークの圧縮課題に対応する新たなトレーニング中低ランク正則化フレームワーク「エスラー (SLORR)」を発表した。同フレームワークは、既存手法の計算コストやモデルアーキテクチャ変更の制限を克服し、シンプルかつステートレスなアプローチによりディープラーニングモデルの効率的な運用を促進する。

リサーチ・論文 7月3日 06:15

Apple、機械学習の最大内積探索効率化手法を発表

Appleは2026年7月(現地時間)、機械学習の重要なサブルーチンである最大内積探索（Maximum inner product search, MIPS）を効率化する「amortized MIPS」手法を発表した。この回帰ベースのアプローチは、ニューラルネットワークの訓練を通じてMIPSの解を直接予測することで、既知の分布から引き出されるクエリに対するMIPSの繰り返し実行コストを償却することを目指す。

リサーチ・論文 6月15日 23:21 注目

ニューラルネットワークのグロッキング遅延、重みノルムが時間尺度を決定

トルオン・スアン・カン（Truong Xuan Khanh）氏らの研究チームは2026年6月10日(現地時間)、ニューラルネットワーク（Neural Network）におけるグロッキング（Grokking）現象の遅延発現が、重みノルム（Weight Norm）によって決定されるとする研究論文をarXivに発表した。同研究は、訓練中に重みノルムを直接操作することで、これまで議論の的となっていた重みノルムとグロッキング遅延との因果関係を実験的に解明したと述べている。