arXivは2026年5月19日(現地時間)、ハオリン・シュエ (Haolin Xue) 氏による論文「OriginBlame: Record- and Token-Level Data Provenance for AI Training Datasets」を公開した。本論文は、AIモデルのトレーニングデータにおける特定のレコード削除要求に対して、従来のファイルまたはデータセットレベルのプロベナンスシステムが抱える過剰削除の問題を解決するため、レコードおよびトークンレベルのデータプロベナンスシステム「ob」を提案する。
現在のAIモデルトレーナーは、データ提供者が特定のトレーニングレコードの削除を要求した場合に、そのレコードを正確に特定するツールがないという課題に直面している。既存のプロベナンスシステムはファイルまたはデータセット全体を対象とするため、必要なデータ以上の壊滅的な過剰削除（catastrophic over-deletion）が発生する可能性があった。これは、データ提供者が特定の情報のみを削除したい場合でも、その情報を含むファイル全体、あるいはデータセット全体が削除されてしまうことを意味し、AIモデルの再学習にかかるコストや手間を増大させる要因となっていた。
提案されたシステム「ob」は、データ処理パイプラインを通じて著者情報を伝播させ、取り消し要求を正確な「forget set」に解決する。このforget setは、削除対象となるデータレコードの集合を厳密に特定する。これにより、データ提供者からの削除要求に対して、必要最小限のデータのみを効率的に削除することが可能となる。
「ob」の有効性は、219,555ページに及ぶWikipediaデータを用いた評価で示された。この評価によると、レコードレベルのプロベナンスは、データセットレベルの過剰削除を101倍から1.3倍に削減した。これは、従来のデータセットレベルでの削除と比較して、データの保持率が大幅に向上し、AIモデルの再学習コストを削減できる可能性を示唆している。
さらに、システム統合によるスループットオーバーヘッドも限定的であることが確認された。具体的な数値としては、人気のあるオープンソースライブラリであるHuggingFaceでは1.3%から4.0%、データ処理ライブラリDatatroveでは2.1%から19.0%に抑えられている。この結果は、「ob」システムが実運用環境においても高い効率性を持つことを裏付けるものである。
また、1.7Bモデルを用いた評価では、プロベナンスに基づいたforget setを用いることで、ランダムなベースラインと比較してアンラーニング（学習済みモデルからの特定の情報の削除）性能を42%向上させることが示された。この性能向上は、データ削除要求に対するAIモデルの応答性を高め、より柔軟なデータ管理を可能にする上で重要な意味を持つ。
参考: arXiv cs.AI (アーカイブ) — 2026年7月16日 13:00 (JST)
原文ハイライト"Record- and Token-Level Data Provenance for AI Training Datasets"