Tag
2 件の関連記事
Hugging Face Blogは2026年6月17日(現地時間)、パラメータ効率の良いファインチューニング（PEFT）技術に関する記事を公開した。同記事は、モデルファインチューニングに広く利用される「LoRA（Low Rank Adaptation）」の普及状況を分析しつつ、他のPEFT手法の可能性と、情報に基づいた選択のためのベンチマークの重要性を指摘している。Hugging Face Hub上の20,834のモデルカードのうち、20,509（98.4%）がLoRAに言及している。
Yangyi Huang氏らは5月27日(現地時間)、大規模言語モデル（LLM）のParameter-efficient finetuning (PEFT)に関する新たな評価手法「PEFT-Arena」を発表した。この研究は、PEFTの評価が、ダウンストリームタスクの精度だけでなく、事前学習済み能力の保持も考慮すべきという問題提起に基づいている。「PEFT-Arena」は、ターゲットタスクへの適応能力（可塑性）と忘却への耐性（安定性）という「安定性-可塑性ジレンマ」の観点からPEFTを評価する。複数のPEFT手法を比較した結果、同等のパラメータ予算において、直交ファインチューニングが最も有利な「パレートフロンティア」を達成したという。