PEFT評価に新ベンチマーク「PEFT-Arena」 安定性・可塑性から分析
Yangyi Huang氏らは5月27日(現地時間)、大規模言語モデル（LLM）のParameter-efficient finetuning (PEFT)に関する新たな評価手法「PEFT-Arena」を発表した。この研究は、PEFTの評価が、ダウンストリームタスクの精度だけでなく、事前学習済み能力の保持も考慮すべきという問題提起に基づいている。「PEFT-Arena」は、ターゲットタスクへの適応能力（可塑性）と忘却への耐性（安定性）という「安定性-可塑性ジレンマ」の観点からPEFTを評価する。複数のPEFT手法を比較した結果、同等のパラメータ予算において、直交ファインチューニングが最も有利な「パレートフロンティア」を達成したという。