#TailLoR

パラメータ効率の良い継続学習「TailLoR」、モデル知識の主要成分保護へ

Marius Dragoi氏らは6月4日(現地時間)、人工知能モデルの継続学習において、パラメータ効率の高いファインチューニング手法の進展に寄与する新手法「TailLoR」に関する論文を発表した。この手法は、事前に学習された重みの特異基底UとVを固定参照フレームとして利用する点が特徴である。特異値行列に適用される低ランク更新を学習させることで、モデルの主要な知識の保護を目指す。