Tag
3 件の関連記事
ピルシェン・イポリット氏 (Pilchen Hippolyte) を含む研究チームは2026年5月21日(現地時間)、大規模言語モデル (LLMs) の事前学習におけるデータ時間性 (temporality) の影響に関する研究論文をarXiv cs.CL上で公開した。この研究は、LLMsが通常、時間情報がシャッフルされたコーパスで学習され、その知識が学習時に固定されることで、時間的な知識の関連付けが十分に理解されていない現状に一石を投じる。彼らの調査は、LLMsの知識鮮度と正確性を高める新たな道を示唆している。
arXiv cs.AIは2026年5月19日(現地時間)、論文を発表し、現代の言語モデル（LM）における数学的推論能力の向上には、純粋なコードよりも構造化された推論シグナルが重要であることを示した。研究者らは10T-tokenのコーパスを用いた事前学習実験を通じて、コードがプログラミング能力を高める一方で、複雑な数学的推論とは競合する可能性を指摘している。この研究は、データ構成の最適化戦略に新たな示唆を与えるものだ。
arXiv cs.LGが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (LLMs) の学習において、事前学習 (pretraining) と同じオプティマイザ (optimizer) を用いたフルファインチューニング (full finetuning) が、より良好な学習と忘却のトレードオフ (learning-forgetting tradeoff) を達成することが明らかになった。これは、新しいタスクにおける同等またはそれ以上の性能を維持しつつ、忘却を低減させる効果があるという。研究者らはこの現象を「オプティマイザとモデルの一貫性 (optimizer-model consistency)」と命名した。