Ayushman Trivedi氏らは6月11日(現地時間)、継続学習における破滅的忘却の幾何学的構造を調査した論文「The Stable Recovery Manifold: Geometric Principles Governing Recoverability in Continual Learning」を発表した。同研究は、破滅的忘却が学習済みの知識の破壊ではなく、そのアクセス可能性と多様体のアライメントの問題である可能性を示唆している。Split CIFAR-100とResNet-18を用いた実験を通じ、リカバリー次元性(Recovery Subspace Dimensionality: k_t)が学習全体で安定していることを発見した。
Trivedi氏らは、継続学習において学習済みの知識が連続学習中に失われる現象、すなわちCatastrophic forgetting(破滅的忘却)の幾何学的側面を、Accessibility Collapseフレームワークに基づいて検証した。
具体的には、Split CIFAR-100データセットと順次学習されたResNet-18モデルを使用し、10のタスクにわたるリカバリー可能性、表現ドリフト、リカバリー複雑性を分析した。研究ではリカバリー次元性(Recovery Subspace Dimensionality, k_t)という指標を導入し、プローブ性能の90パーセントを維持するために必要な最小特異方向の数を測定した。
Recoverability Diffusion仮説とは異なり、かなりの表現ドリフトがあったにもかかわらず、リカバリー次元性(平均k_t = 8.0)は学習全体を通じて安定していることが示された。主角度ドリフトはリカバリー可能性を強く予測し(r = -0.862)、単純な幾何学的モデルがリカバリー可能性の分散の82.2パーセントを説明した。これらの発見はStable Recovery Manifold仮説を支持しており、忘却された知識が表現の再編成にもかかわらずコンパクトにデコード可能な状態を保つことを示唆している。
参考: arXiv cs.LG — 2026年6月12日 02:45 (JST)
原文ハイライト"The Stable Recovery Manifold: Geometric Principles Governing Recoverability in Continual Learning"