arXivは10月30日(現地時間)、Vitaly Feldman氏らの研究チームが、差分プライバシー勾配降下法 (DP-SGD) の実運用におけるプライバシー保護課題に対応するため、ダミーポイントを用いる新しいメカニズムを提案したと報じた。この手法は、バッチサイズの開示がプライバシー損失を招く問題や、バッチ切り捨て (truncation) がプライバシーを低下させるという既存の課題に対処し、より堅牢なプライバシー保証を目的とする。
差分プライバシー勾配降下法 (DP-SGD) の多くの実環境展開において、サーバーはデータをバッチ単位で処理する。これらのバッチをランダムにサンプリングすることで、プライバシー増幅を通じたより良いプライバシー境界の実現が可能となる。
証明可能なプライバシー増幅を伴うほとんどのサンプリングスキームでは、ポアソンサンプリングやランダム割り当てを含め、バッチサイズが変動することが避けられない。これらのスキームが適切なプライバシー保証を得るには、バッチサイズが外部に明かされないことが必須条件となる。しかし、分散設定では、集約を実行するサーバーや通信トラフィックを監視する第三者がこれらのバッチサイズを知る可能性がある。さらに、集中型および分散型の両環境において、メモリや計算上の制約から各バッチが最大サイズsを持つ必要があり、この制限を超過した場合にはバッチの切り捨て (truncation) が必要となる。この切り捨てが、プライバシー損失を大幅に増加させることが既に知られている。
こうした課題に対し、研究チームはランダムな数のダミーポイント (dummy points) を使用してバッチサイズを秘匿し、切り捨てが発生してもプライバシー保証を維持できるシンプルなメカニズムを開発した。このメカニズムは分散設定での実装が容易であり、ポアソンサンプリングとランダム割り当ての両方に対して一般的な分析が提供されている。この分析は、効率的かつ比較的厳密なプライバシーアカウンティングをサポートするように設計されている。
さらに、この手法はサブサンプリングによってカウントリリースのプライバシーを効果的に増幅させる。ダミーポイントの期待値は、非負のノイズで (感度1の) バッチサイズを直接秘匿するために必要な量よりも漸近的に小さくなる。特に、切り捨てられたバッチでのポアソンサンプリングの場合、Ganesh et al. (2025) による切り捨ての直接アカウンティングと比較して、このメカニズムがより優れたプライバシー・効率のトレードオフを達成することが実証されている。
参考: arXiv cs.LG (アーカイブ) — 2026年10月31日 02:58 (JST)
原文ハイライト"Privacy Amplification with Observable Counts and Truncated Batches"