ニューラルネットワークのSGD動態分析:教師起因のスパイクと分散増幅
arXiv stat.ML は11月18日(現地時間)、サメット・デミル氏とザフェル・ドアン氏が、ニューラルネットワークにおける確率的勾配降下法 (SGD) の動態分析に関する研究論文を発表した。この研究は、2層ニューラルネットワークの第1層パラメータが教師サブ空間に直交する形で汎化性能に影響を与えるメカニズムを解明。教師依存のスペクトルスパイクが表現の分散増幅を引き起こし、最終的に汎化の劣化に繋がることを具体的に示している。