コシオ・ベシュコフ氏 (Kosio Beshkov) は2026年10月9日(現地時間)、arXiv math.ATを通じて論文「Constructive Bounds for the Topological Expressivity of Neural Networks」を発表した。同氏は、ニューラルネットワークの表現力を評価する手法として、決定境界のベッチ数 (Betti numbers) に代わり、ネットワーク出力のベッチ数を用いる新たなアプローチを提案。ReLUネットワークが特定の位相的特性を持つ空間を表現できることを数学的に証明した。
本研究は、ニューラルネットワーク (neural network) が表現できる関数のクラスを示す表現力 (expressivity)をテーマとしている。特に焦点を当てられたのは位相的表現力 (topological expressivity)で、これは二値分類 (binary classification) において決定境界のベッチ数 $\beta (\Phi^{-1}(0))$ を用いて定式化されることが多い。しかし、この従来の尺度は、回帰 (regression) や決定境界を持たない他の問題には適用しにくいという課題が指摘されてきた。
コシオ・ベシュコフ氏は、これらの課題に対応するため、ニューラルネットワークの出力のベッチ数 $\beta(\Phi(X))$ を用いて位相的表現力を研究することを提唱した。同氏は、特定のアーキテクチャ $(d,\sum\limits_{k=1}^{d } \beta_k(3k+2),\sum\limits_{k=1}^{d}\beta_k(k+1))$ を持つReLUネットワークが、任意のベッチ数を持つ球のウェッジ和 (wedge sums of spheres) にホモトピー同値 (homotopy equivalent) な空間を表現できることを正式に証明した。これにより、任意の連結なベッチ数系列 $(\beta_0=1)$ に対して上限が提供された。
さらに、N個の異なる次元 $d_1,…,d_N$ の球の積にホモトピー同値な空間を構築することで、Betti numbers given by $\prod_n (1+x^{d_n})$ に対し、より精度の高い上限 $(\sum\limits_{n=1} d_n, 3\sum\limits_{n=1}\limits^N d_n + 2N, \sum\limits_{n=1}\limits^N d_n + N)$ を導出した。論文の結びでは、球に同相 (homeomorphic) な空間に対して、アーキテクチャ上のより強力かつ厳密な上限 $(d,d+1,d+1)$ が存在するという推測が示されている。
参考: arXiv math.AT (アーカイブ) — 2026年10月10日 02:55 (JST)
原文ハイライト"Topological expressivity refers to a family of measures particularly suited to understand binary classification"