深層プルーニングLLMの精度を回復する「SHIFT-LLM」登場
arXivは8月26日(現地時間)、論文を公開し、Ali Bahri (アリ・バーリ) 氏らが大規模言語モデル (LLM) の推論コスト削減手法「深層プルーニング (depth pruning)」によって生じる精度損失を補正する新たなフレームワーク「SHIFT-LLM」を発表しました。この手法は訓練不要で、プルーニングされたTransformerブロックの隠れ状態分布の乱れを線形残差アダプター (LRA) で補正すると報告されています。実験では、複数のモデルとベンチマークにおいて、深層プルーニングで失われた精度を一貫して回復したことを示しています。