arXivは8月26日(現地時間)、論文を公開し、Ali Bahri (アリ・バーリ) 氏らが大規模言語モデル (LLM) の推論コスト削減手法「深層プルーニング (depth pruning)」によって生じる精度損失を補正する新たなフレームワーク「SHIFT-LLM」を発表しました。この手法は訓練不要で、プルーニングされたTransformerブロックの隠れ状態分布の乱れを線形残差アダプター (LRA) で補正すると報告されています。実験では、複数のモデルとベンチマークにおいて、深層プルーニングで失われた精度を一貫して回復したことを示しています。
深層プルーニングは、LLMの推論コスト削減を目的として、Transformerブロック全体を削除する技術です。しかし、この手法は下流層が期待する隠れ状態分布を乱し、大幅な精度損失を引き起こすという課題がありました。Ali Bahri (アリ・バーリ) 氏、Hang Li (ハン・リー) 氏、Hongliang Li (ホンリャン・リー) 氏、Zhitang Chen (ジタン・チェン) 氏らは、この課題に対処するため、訓練不要のプルーニング後補正フレームワーク「SHIFT-LLM」を開発しました。
SHIFT-LLMは、各プルーニング部位にLinear Residual Adapter (LRA) を挿入します。このLRAは、元の残差ブロックの恒等パスを保持しつつ、軽量なアフィン残差補正を加えるものです。この補正は、勾配計算なしで、少量のデータセットを用いた閉形式の最小二乗回帰 (least-squares regression) によってキャリブレーションされます。これにより、LRAの出力が元のブロックによって生成される隠れ状態を近似し、層の削除によって生じる分布の不一致を緩和するとともに、削除されたブロックの計算コストを回避すると説明されています。
開発されたLRAは、さらなる圧縮のために低ランク分解 (low-rank factorization) と連続したプルーニング層間での正確なマージをサポートします。また、パラメータ効率の良いファインチューニング (parameter-efficient fine-tuning) と組み合わせることで、プルーニングモデル単体のファインチューニング以上の精度回復が可能であるとされます。5つのモデルファミリー、6つの層選択基準、7つのゼロショットベンチマークを用いた実験では、SHIFT-LLMがほとんどの構成で深層プルーニングによって失われた精度を一貫して回復することを示し、Llama-3.1-8B-Instructでは最大で+15.7ポイントの精度向上を達成したと報告されています。
参考: arXiv cs.CV (アーカイブ) — 2026年8月27日 13:00 (JST)
原文ハイライト"SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs"