David González-Martínez氏とShiwei Liu氏は7月9日(現地時間)、ニューラルネットワークの圧縮課題に対応する新たなトレーニング中低ランク正則化フレームワーク「エスラー (SLORR)」を発表した。同フレームワークは、既存手法の計算コストやモデルアーキテクチャ変更の制限を克服し、シンプルかつステートレスなアプローチによりディープラーニングモデルの効率的な運用を促進する。
エスラー (SLORR) は、Hoyer sparsity metricとnuclear normに基づく二つの主要なバリアントを備えている。このフレームワークは、GPUフレンドリーな近似を活用し、元の重み行列を直接正則化する。これにより、順方向パスおよび逆方向パスの両方において近似保証が提供され、実際の計算負荷を抑えながら効果的な圧縮を実現する。
研究チームは、エスラー (SLORR) の有効性を検証するため、多岐にわたる実験を実施した。ImageNet-1Kデータセットを用いた評価では、ResNet-50、ViT-B/16、ViT-L/16における継続学習シナリオ、およびResNet-18の事前学習にエスラー (SLORR) を適用した。これらの評価から、エスラー (SLORR) は8%未満のトレーニングオーバーヘッドでモデルの圧縮性を効果的に誘発できることが確認された。
大規模言語モデル (LLM) の領域においてもエスラー (SLORR) の評価が行われた。特にエスラー・ホイヤー (SLORR-Hoyer) バリアントは、135Mおよび560MスケールのLLM事前学習において性能が検証された。その結果、エスラー (SLORR) を用いて学習された圧縮モデルは、正則化を施されていないモデルと比較して、その性能を大幅に維持することが判明した。この高い性能維持は、平均1%未満という低いトレーニングオーバーヘッドで達成されており、エスラー (SLORR) が計算資源が限られた環境や大規模モデルの効率的な展開において利点をもたらす可能性を示唆している。
これらの実験結果は、エスラー (SLORR) が既存の課題であった高い計算コストやモデルアーキテクチャの変更を必要とせずに、ニューラルネットワークの効率的な低ランク正則化を可能にする手法であることを明確に示している。本手法は、既存のモデルアーキテクチャ変更を避けたい場合や、事前学習段階からの効率化を目指す場合に有効とされる。研究者らは、ResNetやViTのような画像認識モデル、さらには135Mから560MスケールのLLMにおける評価でその有効性を示している。既存の枝刈りや量子化といった圧縮技術と組み合わせることで、さらなる最適化の可能性も探求できる。
参考: arXiv cs.LG (アーカイブ) — 2026年7月10日 02:51 (JST)
原文ハイライト"SLORR: Simple and Efficient In-Training Low-Rank Regularization"