LLM向けウォーターマーキング「TextSeal2」論文公開、検出性能と多様性を両立

大規模言語モデル（LLM）の急速な普及に伴い、その生成物の出典を特定し、悪用を防ぐためのウォーターマーキング技術への関心が高まっている。しかし、従来のウォーターマーキング手法は、生成されるテキストの品質や多様性を損なう、あるいは推測デコーディングのような推論高速化技術と併用した場合にウォーターマーク信号が失われるという課題を抱えていた。今回、arXiv cs.CRで公開された研究論文TextSeal2: Distortion-Free LLM Watermarking with Copula Mixing and Memoryless Racesは、これらの課題を解決する新たなアプローチを提示している。

TextSeal2は、以前に開発されたTextSealの拡張版であり、特に推測デコーディング環境下での検出性能と出力多様性の維持に重点を置いている。TextSealの旧版では、Gumbel-maxスキームを用いて各トークンを2つの秘密鍵のうちの1つにランダムに割り当てる「コインフリップ」方式を採用していた。しかし、検出器がどの鍵が使用されたかを知らないため、両方の鍵からのスコアを平均する必要があり、これが検出精度を低下させる要因となっていた。

TextSeal2ではこの課題に対し、複数の鍵を単一の「仮想鍵」に統合する手法を導入した。具体的には、公開共有鍵を含む任意の数の鍵を、AutoMarkで提案されたガウスコピュラ（Gaussian Copula）を通じて新たなノイズと結合させることで、検出精度を損なうことなく統合を可能にしている。このコピュラ混合（Copula Mixing）の概念が、TextSeal2の技術的基盤の一つとなっている。これにより、TextSealでは不可能だった、検出時に全ての情報（どの鍵が使用されたか）を考慮できる最適化された検出プロセスが実現される。

さらに、推測デコーディング環境下でのウォーターマーク保持力を強化するため、TextSeal2は記憶喪失性競合（Memoryless Races）というメカニズムを採用している。推測デコーディングでは、ドラフトモデルによって提案されたトークンのシーケンスが、より大規模なターゲットモデルによって検証される。TextSeal2は、このドラフト競合の残り物に対して追加のエクスポネンシャル競合を実行することで、鍵付きドラフトの検証を行う。この競合は、数学的に記憶喪失性（memoryless property）を持つ指数分布を用いることで、ブロック検証を再現し、生成される出力がターゲットモデルの意図に忠実に従うことを保証する。これにより、ウォーターマーク信号が推測デコーディングプロセス中に意図せず失われることを防ぎ、生成されるテキストの品質や多様性を維持しつつ、堅牢な検出を可能にする。

研究チームは、TextSeal2の性能を3つの異なるLLMで評価した。評価では、同等の出力トークン多様性を維持しつつ、従来のTextSealや競合技術であるtextGrainとの比較が行われた。その結果、TextSeal2は100トークンの回答に対する検出率において、TextSealよりも8〜22パーセンテージポイントの改善を達成し、これはtextGrainと同等であることが確認された（偽陽性率10⁻³の場合）。

特に推測デコーディングが適用されたシナリオでは、TextSeal2の優位性が顕著に現れた。200トークンの回答において、TextSeal2はTextSealと比較して検出率を18パーセンテージポイント向上させ、textGrainに対しても22パーセンテージポイントの改善を示した。これらの結果は、TextSeal2がウォーターマーク検出の堅牢性とテキスト生成の多様性維持という、しばしばトレードオフとなる二つの要素を高いレベルで両立させていることを示している。この技術は、LLM生成コンテンツの透明性向上と悪用防止に貢献する可能性を秘めている。

---

参考: arXiv cs.CR — 2026年10月30日 02:54 (JST)