Steven Yu (スティーブン・ユー) らの研究チームは2026年10月29日(現地時間)、学術論文公開サイトarXiv cs.CLで、言語モデル (LMs) のデータ帰属手法の設計空間を探求し、評価方法に関する新たな見解を示す論文を発表した。論文は、既存の評価手法が複数のデータセット特性を同時に変化させるため、帰属アルゴリズムの失敗原因特定が困難であると指摘している。この課題に対し、研究チームは架空の知識でLMsをファインチューニングし、明確な真実情報を提供する新しいベンチマーク「Controlled Attribution Benchmark (CATT)」を導入した。
CATTは、文書の冗長性や語彙的妨害要素といったデータセット構成を一つずつ系統的に変更できる点が特徴である。この構成可能な評価を通じて、冗長性および妨害要素が帰属性能を一貫して低下させることを研究チームは実証した。
新たな推定量は提案せず、勾配計算に用いられる損失関数と、トークンごとの帰属スコアを文書スコアに集約する方法という、未探求な二つの設計選択肢に焦点を当てている。研究により、学習文書内の真の因果的証拠は局所的であるにもかかわらず、標準的な手法ではこの証拠が文書全体の帰属スコアを平均化することでノイズに希薄化されることが判明した。
標準的な交差エントロピー損失勾配を負の対数オッズ勾配に置き換えることで、無関係なトークンの中から重要なトークンが浮かび上がることを発見した。その後、上位トークンスコアのみを集約することで、診断ベンチマークにおける複数のベースラインで真実情報の再現率を35〜72パーセンテージポイント向上させることが可能であった。また、この負の対数オッズ補正はFTRACE-TREXにも適用され、テストしたすべての手法において反事実的再学習性能を最大4.9倍改善させた。
参考: arXiv cs.CL — 2026年10月30日 02:59 (JST)
原文ハイライト"we explore the design space of LLM data attribution, with a primary focus on evaluation."