差分プライバシー環境下LLM、ウェイトタイイング非連結で性能向上
arXiv cs.LGは2026年9月30日(現地時間)付けで公開した論文で、差分プライバシー勾配降下法 (DP-SGD) を用いた大型言語モデル (LLM) のプライバシー保護型ファインチューニングに関する研究成果を発表した。デコーダーオンリー型LLMにおける入出力埋め込みのウェイトタイイング (weight tying) の影響を調査し、ウェイトを非連結 (untied embeddings) とすることで、ウェイト連結モデルを一貫して上回る性能を達成することを示した。