継続学習下言語モデルの安定化、CAGDが知識保持で損失削減
arXiv cs.CLは10月2日(現地時間)、論文「Stabilizing language models under continual learning via condition-anchored distillation」を公開し、継続学習における言語モデルの安定性を高める「コンディション・アンカー型生成的蒸留 (CAGD)」手法を発表しました。本手法は、新たな知識の学習時に過去の知識が失われる「壊滅的忘却」の課題を克服します。過去のプロンプトの一部と凍結された前モデルの予測分布を活用し、学習済み知識の消失を抑制することで、言語モデルの性能維持に貢献します。