arXivは10月13日(現地時間)、言語モデルがトレーニングデータ内の機密情報をどのように記憶し、開示するかに関する研究論文を発表しました。この研究では、既知の機密情報を含む合成トレーニング記録である「カナリア」の測定が、その情報提示方法に大きく依存することを示しています。秘密情報がトレーニング入力に提供されるか否かが、モデルの学習内容に強い影響を及ぼすことが明らかになりました。
Avi Schwarzschild氏、Om Thakkar氏、Sahra Ghalebikesabi氏、Congzheng Song氏、Vinnie Monaco氏らの研究は、言語モデルと視覚言語モデルを用いた制御されたファインチューニング実験を通じて実施されました。
研究者らは、トレーニング中に秘密情報が入力に存在する場合、モデルはその情報を再現できるものの、入力から削除されると、たとえ広範な繰り返しがあったとしても想起に失敗する可能性があることを発見しました。一方で、周囲のコンテキストから秘密情報を予測するようにモデルをトレーニングすると、その後の想起が信頼できるようになることが示されました。この結果から、繰り返し学習だけでは記憶を特徴づけるには不十分であると結論付けられています。
さらに、カナリアが提示されるタイミングや、他のカナリアとの組み合わせを変更することで、カナリアの繰り返し回数を増やさずに測定される記憶に大きな変化が生じることも判明しました。これらの結果は、カナリアを用いた記憶測定が、トレーニング中に秘密情報がどのように提示され、その後どのようにテストされるかに依存することを示唆しています。研究者らは、監査を行う際には、これらの選択肢全体で結論が成り立つかを確認し、その上で他のトレーニング記録に拡張する必要があるとしています。
この研究は、大規模言語モデルにおける個人情報の漏洩リスク評価や、プライバシー保護技術の開発において重要な基礎データを提供するものです。トレーニングデータの設計やモデルの評価方法について、再考を促す知見が含まれています。
参考: arXiv cs.CR — 2026年10月16日 13:00 (JST)