LLMのLoRA統合課題、新手法READで克服
Zeyan Liらは9月25日(現地時間)、大規模言語モデル（LLM）の微調整に用いられる低ランクアダプター（LoRA）の結合における課題を解決する新手法「READ (Read-only Expansion of Adapter Deltas)」を発表した。同手法は、複数のLoRAアダプターを単一のモデルに統合する際の問題に対処し、アダプターの更新をバランスの取れた正規形に書き換える。新しいスキルが既存のスキルの入力部分を参照し、その出力には干渉しない一方向の結合を確立することで、性能低下を防ぎつつ効率的な統合を実現する。