Hugging Face Blogは2026年6月17日(現地時間)、パラメータ効率の良いファインチューニング（PEFT）技術に関する記事を公開した。同記事は、モデルファインチューニングに広く利用される「LoRA（Low Rank Adaptation）」の普及状況を分析しつつ、他のPEFT手法の可能性と、情報に基づいた選択のためのベンチマークの重要性を指摘している。Hugging Face Hub上の20,834のモデルカードのうち、20,509（98.4%）がLoRAに言及している。
PEFTは、モデルのファインチューニングに必要なメモリを大幅に削減し、量子化されたモデルのファインチューニングも可能にする技術群である。Hugging Faceは、統一APIで多くのPEFT技術を実装し、TransformersやDiffusersといったエコシステムと連携する「PEFTライブラリ」を開発している。
LoRAは、ベースモデルに少数のパラメータを追加し、そのパラメータのみを訓練することで機能する手法として知られる。GitHubでのコードスニペット検索では、71.3%の結果がLoRAに関するものであり、その高い普及度が示されている。Hugging Faceは、LoRAの普及が初期に登場したことや、関連チュートリアル・サポートの豊富さによる自己強化的な側面も指摘しており、より優れた他の技術が存在する可能性に言及した。
既存の論文で他のPEFT技術がLoRAを上回ると主張されることが多いが、ベンチマークの条件や比較対象、再現性に課題があるため、論文結果のみで最適な技術を判断することは難しいとHugging Faceは説明する。この課題に対応するため、Hugging FaceはPEFTライブラリを活用し、LLMの数学データセットでのファインチューニングを評価するMetaMathQAベンチマークと、画像生成モデルの新しい概念学習を評価するベンチマークの2種類を提供している。
これらのベンチマークは、同じベースモデル、データセット、訓練・評価コード、ハードウェアといった統一条件下で実行され、テスト性能に加え、VRAM使用量、忘却、実行時間、チェックポイントサイズなどの多様な指標を追跡する。Hugging Faceは、ベンチマークの結果として、LoRAは効果的ではあるものの、他のPEFT手法がテスト性能やメモリ使用量などの複数の側面でLoRAを上回る場合があることを確認した。同社はユーザーに対し、PEFTライブラリを活用して複数のPEFT技術を評価することを推奨している。
参考: Hugging Face Blog (アーカイブ) — 2026年6月18日 03:18 (JST)
原文ハイライト"Although there are dozens of these techniques, almost everyone chooses one called “LoRA”."