言語モデル事前学習データの影響測定に新手法、arXivが論文公開
arXiv cs.CLが2026年8月13日(現地時間)付けで公開した論文によると、言語モデルの事前学習における訓練データの影響を、下流タスクや検証セットに依存せずに測定する新しい手法が提案されました。提案された手法では、勾配更新が最終パラメータへの二乗距離をどれだけ削減するかで例の影響を定義し、再訓練なしで中間チェックポイントからこの量を推定します。
Tag
#事前学習
4 件の関連記事
大規模言語モデル、データ時間性考慮で知識獲得 最新情報反映、ピルシェン氏らの研究
ピルシェン・イポリット氏 (Pilchen Hippolyte) を含む研究チームは2026年5月21日(現地時間)、大規模言語モデル (LLMs) の事前学習におけるデータ時間性 (temporality) の影響に関する研究論文をarXiv cs.CL上で公開した。この研究は、LLMsが通常、時間情報がシャッフルされたコーパスで学習され、その知識が学習時に固定されることで、時間的な知識の関連付けが十分に理解されていない現状に一石を投じる。彼らの調査は、LLMsの知識鮮度と正確性を高める新たな道を示唆している。
数学推論向上、言語モデルに構造化データ コード単独より有効
arXiv cs.AIは2026年5月19日(現地時間)、論文を発表し、現代の言語モデル（LM）における数学的推論能力の向上には、純粋なコードよりも構造化された推論シグナルが重要であることを示した。研究者らは10T-tokenのコーパスを用いた事前学習実験を通じて、コードがプログラミング能力を高める一方で、複雑な数学的推論とは競合する可能性を指摘している。この研究は、データ構成の最適化戦略に新たな示唆を与えるものだ。
大規模言語モデル、事前学習と同一オプティマイザで忘却を抑制
arXiv cs.LGが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (LLMs) の学習において、事前学習 (pretraining) と同じオプティマイザ (optimizer) を用いたフルファインチューニング (full finetuning) が、より良好な学習と忘却のトレードオフ (learning-forgetting tradeoff) を達成することが明らかになった。これは、新しいタスクにおける同等またはそれ以上の性能を維持しつつ、忘却を低減させる効果があるという。研究者らはこの現象を「オプティマイザとモデルの一貫性 (optimizer-model consistency)」と命名した。