サイード・アザズ・シャー氏らが2026年11月19日(現地時間)、大規模言語モデル (LLMs) の表形式文脈内学習 (Tabular in-context learning, TabICL) におけるプライバシー保護のための新しい汎用フレームワーク「PriTabICL」に関する研究論文をarXivで公開した。同フレームワークは、機密性の高い個人情報を含むデモンストレーションの差分プライバシー (Differential privacy, DP) 保護を目的としており、予測関連の統計的関係を優先する。

TabICLはLLMsがプロンプト内の少数のラベル付きデモンストレーションを使用してターゲットレコードを予測する手法だが、これらのデモンストレーションは機密性の高い個人情報を含むことが多い。従来のDPノイズベース手法は、特にデータ次元が増加するにつれて、正確な予測に不可欠な特徴とラベルの関係を歪めるという課題があった。

研究チームは、汎用DP合成をデータセット全体に直接適用する際の二つの制限を特定した。一つは、グローバルな分布モデリングが異種データ内の局所構造やマイノリティパターンを不明瞭にする可能性があり、もう一つは、限られたプライバシー予算の下で広範な属性依存関係を測定すると、予測に最も関連性の高い関係の精度が低下する可能性である。より広範には、グローバルな統計的忠実性が、下流の予測モデルや生成モデルに必要な異種構造を維持できない場合がある。

これらの課題に対処するため、PriTabICLが提案された。これは既存のDP合成アルゴリズムと互換性のある汎用フレームワークである。PriTabICLはレコードをDPクラスターに分割し、それぞれを独立して合成する。この際、予測に関連性の高い統計的関係を優先するため、固定された特徴-ターゲットワークロードを使用する。推論時には、各クエリがDPクラスターにルーティングされ、元のレコードのプライバシー損失を追加することなく、その合成データセットからデモンストレーションがサンプリングされる仕組みである。

四つの実世界データセットを用いた実験では、PriTabICL手法が異種データセット全体で有効性を示す結果が得られた。特に、研究チームが実装したPriTabICL-PrivSynは、12の評価設定のうち8つで既存のグローバルなPrivSynを上回り、評価されたほぼすべての設定で既存のプライベートTabICLアプローチを凌駕した。関連するオープンソースコードも提供されている。


参考: arXiv cs.CR (アーカイブ) — 2026年11月20日 14:00 (JST)

原文ハイライト

"a general framework compatible with existing DP synthesis algorithms."

この記事をシェア
X はてブ LinkedIn