arXiv cs.LGは2026年9月30日(現地時間)付けで公開した論文で、差分プライバシー勾配降下法 (DP-SGD) を用いた大型言語モデル (LLM) のプライバシー保護型ファインチューニングに関する研究成果を発表した。デコーダーオンリー型LLMにおける入出力埋め込みのウェイトタイイング (weight tying) の影響を調査し、ウェイトを非連結 (untied embeddings) とすることで、ウェイト連結モデルを一貫して上回る性能を達成することを示した。
DP-SGDは、LLMのプライバシー保護型ファインチューニングにおける主要な手法の一つです。多くのデコーダーオンリー型LLMでは、パラメータ効率と非プライバシー設定における言語モデリング性能向上のために、入出力埋め込み間でウェイトタイイングが用いられてきました。
本研究では、GPT2とDistilGPT2を代表的なデコーダーオンリー型アーキテクチャとして用い、DP設定下でのウェイトタイイングの役割を調査しました。その結果、ウェイトを非連結にしたモデルがDP-SGD下でウェイト連結モデルよりも優れた性能を発揮し、SST-2、QNLI、およびQQPの各タスクにおいて最大4.74%ポイントの精度向上を達成しました。
性能向上に加え、埋め込みの非連結化は、メモリ効率の高いゴーストクリッピング (ghost clipping) の利用を可能にします。対照的に、ウェイトタイイングは共有パラメータ間の相互作用を引き起こし、標準的なゴーストノルムの計算を複雑化させ、その計算上の利点を大幅に損なうことが指摘されています。その結果、非連結モデルはゴーストクリッピングの利点を維持しつつ、メモリ使用量を60%以上削減することに成功しました。
これらの結果は、デコーダーオンリー型LLMの差分プライバシー訓練において、非連結埋め込みがより効果的でスケーラブルな設計を提供することを示唆しており、プライバシー保護設定における標準的なLLMアーキテクチャの選択を見直す必要性を強調しています。本論文は、第8回IEEE International Conference on Trust, Privacy and Security in Intelligent Systems, and Applications (IEEE TPS 2026) に採択されています。
参考: arXiv cs.LG (アーカイブ) — 2026年10月1日 02:57 (JST)
原文ハイライト"untied embeddings consistently outperform weight-tied models under DP-SGD"