arXiv cs.LGは2026年5月19日(現地時間)、Yequan Zhao氏らの研究チームが新たなフレームワーク「FuRA (Full-Rank Adaptation)」を提案したと発表した。この論文によると、FuRAは事前学習済みモデルの微調整効率を高めるもので、既存のFull fine-tuning (Full FT) やLoRAが考慮しなかった事前学習中のスペクトル構造を利用する。これにより、FuRAはパラメーター、メモリ、ステップ時間の効率をLoRAと同等に保ちながら、複数の設定でFull FTを上回る性能を実現した。
Full FTやLoRAなどの既存のパラメーター効率の高い微調整手法は、事前学習中に形成されたスペクトル構造を考慮しないまま重み更新を適用してきた。その結果、少ない微調整データから生じるノイズの多い勾配が、モデルが事前に学習した堅牢な特徴を損なう可能性が指摘されていた。研究チームは、この問題の解決にはスペクトル事前条件付け (spectral preconditioning) が不可欠であると結論付けた。
FuRAは、重み行列をフルランク特異値分解 (SVD) で再パラメーター化し、特定の特異基底を固定することで、更新を事前学習済み列空間に限定する最適化手法を採用している。この原理に基づき、FuRAはブロックテンソルトレイン分解 W = LSR を用いた効率的なフルランク適応フレームワークとして構築された。このフレームワークでは、大型のコア行列 L は事前学習済みのブロック単位SVD基底に固定され、より小型のコア行列 R とブロック単位の特異値 S のみが最適化の対象となる。
この独自の設計により、FuRAはフルランクでのスペクトル事前条件付けを同時に実現し、フルランク更新の表現力を保持しつつ、LoRAと同等のパラメーター効率、メモリ効率、そしてステップ時間効率を達成する。FuRAは、大規模言語モデル (LLM) のファインチューニング（例えば、LLaMA-3-8Bにおける常識推論タスクで1.37ポイントの改善）、数学的推論のためのLLM強化学習、さらには視覚言語モデル (VLM) 向けの視覚命令チューニングなど、多岐にわたる設定においてFull FTを一貫して上回る性能を示した。また、4ビット量子化を適用したQFuRAも、既存のQLoRAを凌駕する結果を出している。関連する実装コードは公開されており、研究コミュニティでの利用が期待される。
参考: arXiv cs.LG — 2026年5月25日 13:00 (JST)
原文ハイライト"Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning"