arXiv cs.CLが2026年8月13日(現地時間)付けで公開した論文によると、言語モデルの事前学習における訓練データの影響を、下流タスクや検証セットに依存せずに測定する新しい手法が提案されました。提案された手法では、勾配更新が最終パラメータへの二乗距離をどれだけ削減するかで例の影響を定義し、再訓練なしで中間チェックポイントからこの量を推定します。
この研究は、Yuto Nishida (ユウト・ニシダ)氏ら9名の著者によって発表されました。研究チームは、提案手法をPythia（ピシア）およびPolyPythia（ポリピシア）スイートの18構成に適用し、影響力のあるデータに系統的な時間的変化を発見しました。
訓練の初期段階では、文学関連データが最終パラメータへの軌道とより強く整合する傾向が見られました。一方、訓練の後期段階では、STEM（科学・技術・工学・数学）データが強く整合するようになります。この定性的なクロスオーバーは、様々なモデル構成において広く一貫していることが確認されました。
本研究の結果は、事前学習全体で影響力のあるデータがどのように変化するかについて、扱いやすい軌道レベルの視点を提供します。これは、特定の下流タスクや検証セットに関して定義される影響分析を補完するものとされています。本論文はCOLM 2026に採択されました。
参考: arXiv cs.CL — 2026年8月14日 02:36 (JST)
原文ハイライト"Measuring training data influence consistently across language model pretraining is challenging."
この記事をシェア