リサーチ・論文 · 8月17日 06:21 言語モデル事前学習データの影響測定に新手法、arXivが論文公開 arXiv cs.CLが2026年8月13日(現地時間)付けで公開した論文によると、言語モデルの事前学習における訓練データの影響を、下流タスクや検証セットに依存せずに測定する新しい手法が提案されました。提案された手法では、勾配更新が最終パラメータへの二乗距離をどれだけ削減するかで例の影響を定義し、再訓練なしで中間チェックポイントからこの量を推定します。