エロイ・マルティネ (Eloi Martinet) 氏とレオン・ブンゲルト (Leon Bungert) 氏は11月6日(現地時間)、人工知能の深層学習モデルで広く用いられるReLUネットワーク (ReLU network) の集合の閉包性に関する研究論文を発表した。この研究では、1つの隠れ層と最大N個のニューロンを持つReLUネットワークの集合が、特定の空間において弱閉であることを証明。これにより、当該空間における強制的な弱下半連続エネルギーが、その集合上で最小値を達成することが示された。
マルティネ氏とブンゲルト氏の研究は、深層学習モデルの理論的基礎を深掘りするもので、特にReLUネットワークの数学的性質に焦点を当てている。
具体的には、有界で連結な開集合Ω⊂ℝᵈにおいて、1つの隠れ層と最大N個のニューロンで構成されるReLUネットワークの集合が、ソボレフ空間W¹ᵖ(Ω)内で弱閉であることを厳密に証明した。この重要な結果は、機械学習におけるいくつかの応用分野に影響を与える。例えば、凸状の被積分関数を持つディープ・リッツ・メソッド (Deep Ritz method)、ソボレフ・トレーニング (Sobolev training)、およびリプシッツ・ラーニング (Lipschitz learning) といった手法において、その安定性や最適化特性を評価する上で基礎的な知見を提供するものと期待される。
また、研究では、重み減衰パラメーターがゼロに近づくにつれて、正則化された問題の最小値が、部分列にわたって、最小パラメーターノルムを持つ最小値に収束することも示された。これは、正則化手法がモデルの複雑性を制御し、過学習を防ぐ上でどのように機能するかを理論的に裏付けるものとなる。
さらに、今回の研究は、複数の隠れ層を持つReLUネットワークの集合の閉包性についても分析。2つの隠れ層を持ち、幅が有界なReLUネットワークの集合がW¹ᵖ(Ω)内または連続関数空間C(Ω̄)内で閉ではないことを証明した。この結果は、従来ピーターセン (Petersen) 氏、ラスラン (Raslan) 氏、フォークトレンダー (Voigtlaender) 氏によって提唱されていた推測とは異なるものであり、深層ニューラルネットワークの数学的特性に関する既存の理解に新たな視点を与える。これにより、多層ReLUネットワークの最適化や汎化特性に関するさらなる議論を促すことが予想される。研究は論文投稿サイトarXiv cs.LGを通じて公開された。
参考: arXiv cs.LG (アーカイブ) — 2026年11月7日 03:58 (JST)