Tag
2 件の関連記事
David González-Martínez氏とShiwei Liu氏は7月9日(現地時間)、ニューラルネットワークの圧縮課題に対応する新たなトレーニング中低ランク正則化フレームワーク「エスラー (SLORR)」を発表した。同フレームワークは、既存手法の計算コストやモデルアーキテクチャ変更の制限を克服し、シンプルかつステートレスなアプローチによりディープラーニングモデルの効率的な運用を促進する。
Ayushman Trivedi氏らは6月11日(現地時間)、継続学習における破滅的忘却の幾何学的構造を調査した論文「The Stable Recovery Manifold: Geometric Principles Governing Recoverability in Continual Learning」を発表した。同研究は、破滅的忘却が学習済みの知識の破壊ではなく、そのアクセス可能性と多様体のアライメントの問題である可能性を示唆している。Split CIFAR-100とResNet-18を用いた実験を通じ、リカバリー次元性（Recovery Subspace Dimensionality: k_t）が学習全体で安定していることを発見した。