プラシャント・シェカール (Prashant Shekhar) 氏らは2026年11月17日(現地時間)、オープンウェイト言語モデル(LLM)のウェイトが変更された際のウォーターマーク(透かし)検出の有効性に関する研究成果をarXiv cs.CRで発表した。研究では、OpenStampスタイルの検証器におけるエビデンスの変化を分析し、理論的な下限と偏差上限を導出。モデル変更に対する透かしの堅牢性についての理解を深めることを目的としている。
この研究は、オープンウェイト言語モデルがリリースされたウェイトの変更後も生成を続ける中で、ウォーターマーク検証器が元のベースモデルとマークされたモデルに対して出力をスコア付けし続ける状況を調査した。研究者らは、各共有プレフィックスにおけるモデル変更を次トークンロジットの残差として表現した。
理論面では、残差スパン制約下での期待される対数尤度比エビデンスに関する正確な有限語彙下限、およびシャープなスパンのみの偏差上限を導出した。また、明示的な二次剰余を持つ共分散項を通じて一次エビデンスシフトを特徴付け、目標エビデンスレベルに達するために必要な残差スパンを特定した。シーケンスレベルの検出については、正確な条件付き指数モーメント上限を導き出し、超マルチンゲール引数および分布フリーの順序統計量許容範囲上限と組み合わせた。
実験では、OpenStampをLlama-2-7BとMistral-7B-v0.3に適用した。INT8量子化と30%のプルーニングでは、テスト真陽性率が85.6%から94.8%を維持した。一方、500ステップのLoRAファインチューニングでは、真陽性率が28.8%および11.6%に低下した。共分散予測は、両モデルにおける測定された平均LoRAエビデンスドリフトを追跡し、160,000のテストプレフィックス全体で剰余境界違反は観測されなかった。また、各モデルにつき500のベースモデル継続で偽陽性はゼロであった。これらの理論的および経験的結果は、モデル編集/チューニング攻撃に対するウォーターマークの堅牢性に関する理解に貢献するとされる。
参考: arXiv cs.CR (アーカイブ) — 2026年11月18日 14:00 (JST)
原文ハイライト"Open-weight language models can continue generating after their released weights are modified"