arXiv cs.CLは4月29日(現地時間)、研究論文を提出し、Wikipediaでの小規模な編集活動が大規模言語モデル（LLM）の挙動に測定可能な影響を与えることを明らかにした。特に動物福祉に関する内容の編集が、LLMの特定のトピックに対する応答に影響を及ぼすという。この研究は、WikipediaがLLMの訓練データセットにおいて重要な役割を果たしていることを強調している。
Jasmine Brazilek、Maria Navas、Alexa Gnauckらが執筆したこの研究は、Wikipediaが多くの主要な言語モデル訓練データセットに含まれ、ウェブクロールされたテキストよりも重く扱われている点に着目している。
Pro-Animal Wikipedians (PAW)と称する提唱者グループは、動物福祉に関する情報源に基づいたコンテンツを115ページにわたり125回編集した。
研究では、勾配ベースのデータ帰属（Bergson; MAGIC）とTrackStar検索帰属を用いて、これらの編集が言語モデルの挙動に与える影響を追跡した。Llama 3.1 8Bに対するTrackStar検索帰属の結果、動物福祉に関するクエリにおいて、PAWによって編集されたセクションが最も帰属度の高い文書の68パーセントを占めた（p < 0.0001）。一方、同じ企業に関する無関係なクエリでは52パーセントに留まった（p = 0.53）。このことから、モデルはPAWのコンテンツを動物福祉トピックに特異的に関連付けていることが判明した。
Llama 3.2 1Bを用いたMAGIC反実仮想影響推定を5つの異なる訓練順序シードで実施した結果、動物福祉クエリにおける最も影響力の高い上位10文書は全てPAW編集によるものであった（10件中10件、5つのシード全て）。これに対し、一般的なクエリでは上位10文書にPAW編集が4～6件含まれるに過ぎなかった。動物福祉クエリにおけるPAWの平均的な影響は、一般的なクエリと比較して6～30倍大きかった（p < 0.0001）。
さらに、PAWコンテンツと対照コンテンツで個別にファインチューニングされたモデルは、それぞれ訓練されたテキストタイプにおいてパフォーマンスの向上が見られた。PAW訓練モデルは動物福祉テキストのパープレキシティを12.4から8.4に削減し、対照訓練モデルは対照テキストのパープレキシティを16.1から11.4に削減した。これらの結果から、小規模で協調的なWikipedia編集活動が、言語モデルが扱うトピックの挙動を測定可能な形で形成することが確認された。
参考: arXiv cs.CL (アーカイブ) — 2026年6月25日 13:00 (JST)