arXiv cs.CRは2026年9月8日(現地時間)、大規模言語モデル (LLMs) のプライバシーリスクを監査するための新たなメンバーシップ推論攻撃 (MIAs) 手法「Word-level Probability MIA (WPMIA)」に関する論文を公開しました。この手法は、既存のMIAsがトークンごとの確率へのアクセスを必要とするのに対し、厳密なブラックボックスモデルにも適用可能で、GPT-5-Chatなどの主要なプロプライエタリLLMsで平均42.0のTPR@5%FPRを達成しています。
Shengjie Niu氏、Yeheng Ge氏、Jian Huang氏らによるこの研究は、大規模言語モデル (LLMs) におけるプライバシーリスク監査の重要性を指摘しています。従来のメンバーシップ推論攻撃 (MIAs) は、モデルの訓練データに特定のテキストが含まれていたかどうかを判断しますが、その多くはトークンごとのロジットや確率へのアクセスを前提としていました。そのため、テキストの続きのみを公開するプロプライエタリなLLMsには適用できないという課題がありました。
この課題に対応するため、研究チームはWord-level Probability MIA (WPMIA) を考案しました。これは、厳密なブラックボックス環境下でのプライバシー監査を目的とした、統計的に裏付けられたMIAsです。論文では、WPMIAがモンテカルロサンプリングとローカルカーネル平滑化を用いてワードレベルの生成確率を推定し、これらの推定値をシーケンスレベルの尤度推定器に集約する仕組みを持つと説明されています。さらに、異なるプレフィックスで条件付けされた尤度を構築することで、訓練データに含まれるメンバーとそうでない非メンバー間の分布の違いを増幅させる点が特長です。
WPMIAは、複数のオープンソースLLMsで評価され、既存のブラックボックスベースライン手法を一貫して上回る性能を示しました。また、GPT-5-Chat、Gemini-2.5-Flash、Claude-4.5-Haikuといった現代のプロプライエタリLLMsに対しても評価が行われた結果、これらのモデル全体で平均42.0のTPR@5%FPRを達成しました。この成果は、今後の厳密なブラックボックスメンバーシップ推論に関する研究に強固な基盤を提供するものとされています。
参考: arXiv cs.CR (アーカイブ) — 2026年9月11日 13:00 (JST)