イド・ニッツァン・ヒデケル氏(Ido Nitzan Hidekel)らは2026年11月19日(現地時間)、機械学習研究リポジトリarXivで、モデルマージングにおける干渉の予測と補正を行う新手法「LR-Merge」に関する論文を発表した。同手法は、個別にファインチューニングされたモデルを統合する際の、係数探索における高コストな評価の課題解決を目指す。これにより、モデル統合の効率と性能向上が期待される。

モデルマージングは、共有バックボーンに対してタスクベクトルを追加することで、複数のファインチューニング済みモデルを結合する手法である。しかし、干渉の評価は通常、候補となるマージを構築・評価した後に行われるため、係数探索が高コストとなる点が課題だった。

イド・ニッツァン・ヒデケル氏とダン・ラヴィブ氏(Dan Raviv)らの論文は、タスクAの出力におけるタスクBのベクトルに沿った一次方向微分が干渉を予測可能であると指摘している。特にレシーバーモデルでの評価においては、タスクごと、サンプルごとに近接するマージを予測し、ベースラインと比較して精度誤差を半減させ、予測が反転するほとんどのサンプルを特定する。しかし、共有された事前学習済みバックボーンでは、この微分は実現される変化とほとんど直交し、LoRA言語モデルのパイロット実験では部分的にしか予測的ではないことが示された。

提案された「LR-Merge」は、ラベルなしプローブを用いた凸型ティーチャーマッチングを通じて係数を最適化するラベルフリーの補正手法であり、マージ済みネットワークを通じた逆伝播を必要としない。この手法は、テストされた全ての閉形式、等方的、およびスパース化された基本マージャーの性能を向上させ、統合されるタスクが増えるにつれてその効果が一般的に増大する。LR-Mergeは、マージ済みネットワークを通じた正確なティーチャーマッチングと同等の性能を、収束に約3倍長くかかる手法と同等の時間で実現可能であると述べられている。一度構築されたサロゲートは、新しい係数やタスクサブセットのクエリに数秒で応答する。


参考: arXiv cs.LG (アーカイブ) — 2026年11月20日 14:00 (JST)

この記事をシェア
X はてブ LinkedIn