LLM多言語知識編集、マージング手法で言語間干渉緩和の有効性を検証

クニル・リー氏らの研究チームは2026年5月13日(現地時間)、大規模言語モデル（LLM）の多言語知識編集（MKE）におけるマージング手法に関する実証研究論文をarXiv cs.CLで公開した。この研究は、特定の言語知識編集が他の言語に干渉する課題に対し、様々なベクトルマージング手法の有効性を検証したもの。共有共分散を伴うベクトル加算が信頼性の高い戦略として示された一方、Task Singular Vectors for Merging（TSVM）は多言語干渉緩和能力に限界があることが明らかになった。研究は、多言語LLM開発における実務的な知見を提供している。

大規模言語モデル（LLM）の多言語対応が進む中、特定の言語知識を更新する「知識編集」は、モデルの挙動を調整する上で不可欠な技術となっている。しかし、従来の知識編集手法は、主に単一言語環境での性能に最適化されており、多言語環境では言語間の相互干渉という複雑な課題に直面していた。例えば、ある言語で特定の事実を更新すると、意図せず他の言語での知識が誤って書き換えられてしまうケースが報告されている。

クニル・リー氏らの研究チームは、この多言語環境における知識編集の課題、特に言語間干渉の緩和に焦点を当て、様々なベクトルマージング手法の有効性を詳細に分析した。彼らは、以下の3つの主要な論点を探求している。

MKEにおけるベクトルマージング手法の全体的な有効性。
タスク特異的特異値ベクトルマージング（Task Singular Vectors for Merging: TSVM）が、多言語干渉をどの程度低減できるか。
重みスケーリング因子とランク圧縮比が、編集性能に与える影響。

研究チームは、普及している2種類のバックボーンLLM、2種類の基本的な知識編集手法、および12言語を対象に、MzsREベンチマーク上での大規模バッチ編集設定で6種類のマージングバリアントを評価した。この広範な実験設定は、多言語環境でのマージング手法の頑健性を検証する上で重要な意味を持つ。

その結果、興味深い知見が明らかになった。特に、共有共分散を伴うベクトル加算（Vector addition with shared covariance）が、最も信頼性の高い全体戦略として浮上した。これは、多言語LLM開発者が知識編集を行う際に、安定した性能を期待できる実用的な選択肢を示唆している。一方、共有共分散を考慮しない単純な加算は、性能が低い結果となった。

TSVMについては、一部の設定で性能向上が見られたものの、多言語干渉を完全に緩和する能力には限界があることが判明した。これは、特定のタスクに特化したベクトル統合が有効である一方で、言語間の複雑な相互作用を完全に分離することは難しい現実を浮き彫りにしている。さらに、知識編集の性能は、重みスケーリング因子とランク圧縮比の両方に敏感であることが示され、デフォルト値よりも大きいスケーリングと比較的低いランクを設定することで、より良い結果が得られることが多いと報告されている。これは、実務において多言語LLMの知識編集を適用する際に、これらのパラメータを慎重にチューニングする必要があることを意味する。

本研究は、多言語LLMにおける知識編集の複雑さを詳細に分析し、現在のベクトルマージング手法の「実用的な強み」と「限界」を明らかにした。これらの知見は、グローバルに展開されるチャットボットや多言語対応サービスなどの実世界アプリケーション開発において、特定の言語知識の更新が他の言語に与える副作用を最小限に抑え、モデルの整合性を維持するための指針となる可能性がある。言語間干渉の問題は、サービスの信頼性やユーザー体験に影響を及ぼす側面があり、今回の研究成果は多言語対応AIシステムの設計における考慮事項を提示する。

参考: arXiv cs.CL (アーカイブ) — 2026年5月15日 13:00 (JST)