#Canaries

arXiv、言語モデルの秘密情報記憶メカニズム解析研究を発表

arXivは10月13日(現地時間)、言語モデルがトレーニングデータ内の機密情報をどのように記憶し、開示するかに関する研究論文を発表しました。この研究では、既知の機密情報を含む合成トレーニング記録である「カナリア」の測定が、その情報提示方法に大きく依存することを示しています。秘密情報がトレーニング入力に提供されるか否かが、モデルの学習内容に強い影響を及ぼすことが明らかになりました。