arXiv cs.LGは2026年11月12日(現地時間)、Abigail L. Tenenbaum氏およびR. Thomas McCoy氏らによる研究論文を公開した。本研究は、ニューラルネットワークが限定的な経験から迅速に学習する能力を、メタ学習によって最適化されたネットワークの内部構造から解明することを目的とする。単語のベクトル表現に見られる加算関係に着想を得て、メタ学習済みネットワークの関数表現間における加算関係を調査した。

人間が限定された経験から迅速に学習できる一方で、ニューラルネットワークは通常、広範な訓練を必要とする。この問題意識に基づき、研究者らはニューラルネットワークが迅速に学習することを可能にする特性を調査した。

研究では、メタ学習を通じて最適化されたニューラルネットワークが対象となった。メタ学習は、関連する多数の関数にネットワークを露呈させることで、類似の関数のその後の学習を促進する手法である。先行研究では、これらのメタ学習済みネットワークが新しい関数を迅速に学習できることは示されていたが、そのメカニズムは未解明であった。

内部構造の解明のため、ニューラルネットワークが単語を表現する際に用いる学習済みベクトルの間に加算関係が存在する先行研究(例:「king」から「man」を引いて「woman」を足すと「queen」に近似される)に着想を得た。同様に、メタ学習済みネットワークの異なる関数に対する「表現」間における加算関係が探索された。

その結果、メタ学習済みネットワークが特定の関数を迅速に学習する際、適応された全パラメーター値を連結することで、その関数を表現する単一のベクトルとして扱えることが判明した。さらに、これらのパラメーターベクトルは、それが表現する関数間の記号的関係に従って加算および減算できることも確認された。人工的に再結合されたこれらのベクトルによって指定されたネットワークは、直接的な訓練なしに意図された関数を実行した。

これらの結果は、メタ学習がネットワークの開始点を調整し、その後の学習を可能なパラメーターベクトルの空間を通じて系統的かつ機能的に意味のある軌道に沿って組織化できることを示唆している。これにより、ニューラルネットワークにおける帰納的バイアスを実現するための幾何学的な基盤が提供される。


参考: arXiv cs.LG — 2026年11月13日 03:57 (JST)

この記事をシェア
X はてブ LinkedIn