言語モデル事前学習データの影響測定に新手法、arXivが論文公開
arXiv cs.CLが2026年8月13日(現地時間)付けで公開した論文によると、言語モデルの事前学習における訓練データの影響を、下流タスクや検証セットに依存せずに測定する新しい手法が提案されました。提案された手法では、勾配更新が最終パラメータへの二乗距離をどれだけ削減するかで例の影響を定義し、再訓練なしで中間チェックポイントからこの量を推定します。
Tag
#Pythia
2 件の関連記事
Tag
2 件の関連記事
arXiv cs.CLが2026年8月13日(現地時間)付けで公開した論文によると、言語モデルの事前学習における訓練データの影響を、下流タスクや検証セットに依存せずに測定する新しい手法が提案されました。提案された手法では、勾配更新が最終パラメータへの二乗距離をどれだけ削減するかで例の影響を定義し、再訓練なしで中間チェックポイントからこの量を推定します。
arXiv cs.LGは2026年5月22日(現地時間)、Xu Ouyang氏らの研究チームが、大規模言語モデル（LLM）の訓練プロセスをノイズのある情報伝送チャネルとして捉える「シャノン・スケーリング・ロー」と称する新たな理論的枠組みを提唱したと報じた。この法則は、既存のスケーリング法則では説明が困難だった、計算資源の増加にもかかわらず性能が低下する非単調な現象の解明を可能にする。シャノン＝ハートレーの定理に基づき、モデルのパラメーターをチャネル帯域幅、訓練トークンを信号電力にマッピングすることで、学習信号と固有ノイズの相互作用を明確に捉えることができる。