arXiv stat.ML は11月18日(現地時間)、サメット・デミル氏とザフェル・ドアン氏が、ニューラルネットワークにおける確率的勾配降下法 (SGD) の動態分析に関する研究論文を発表した。この研究は、2層ニューラルネットワークの第1層パラメータが教師サブ空間に直交する形で汎化性能に影響を与えるメカニズムを解明。教師依存のスペクトルスパイクが表現の分散増幅を引き起こし、最終的に汎化の劣化に繋がることを具体的に示している。
本研究では、多重インデックス教師モデル上で確率的勾配降下法 (SGD) を用いて訓練された2層ニューラルネットワークに焦点を当て、特に第1層のパラメータが教師サブ空間に直交する状態が汎化にどのような影響を及ぼすかを詳細に分析した。
分析では、第1層の重みを教師と整合するシグナル成分と、それに直交する補完成分に分解した。そして、比例限界条件下で、第2層との結合を考慮したSGD動態の分析が行われた。研究の結果、補完成分に対するSGD更新が初期段階では等方的であるにもかかわらず、訓練動態が補完グラム行列に教師依存のスペクトルスパイクを誘発することが明らかになった。この新たな異方性こそが、表現の分散が増幅され、汎化性能が劣化する具体的なメカニズムを裏付けている。
この効果をさらに深く理解するため、Decomposed Dynamicsと名付けられた解析的に扱いやすい代替モデルが導入された。この代替モデルの漸近的なテスト誤差動態はSGDのそれと一致することが確認された。ReLU (Rectified Linear Unit) 学生モデルを用いたシミュレーションでは、直交補完成分の方向を固定することで、それらを訓練する場合と比較して汎化性能が向上することが示された。
また、シグナル成分が第2層の重みと迅速に整合することも判明し、この浅い設定においても層間の強い結合が明らかになった。これらの結果は、教師サブ空間外での特徴学習がどのように汎化性能を損なうかについて、これまでにない動的な説明を提供するものとなる。この論文は36ページで構成され、4つの図解を含んでいる。
参考: arXiv stat.ML — 2026年11月19日 03:43 (JST)
原文ハイライト"Decomposing SGD Dynamics in Neural Networks: Teacher-Induced Spikes and Variance Inflation"