大規模言語モデルの知識獲得、補助ビューが学習効果向上に寄与と指摘
arXiv cs.CL は2026年9月3日(現地時間)、「Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views」と題する研究論文を公開した。大規模言語モデル (LLM) が事前学習中に知識をどのように獲得するかという未解明な点に対し、知識の再構成である補助的ビューが学習に因果的に寄与すると提唱。実験を通じて、データ多様性の重要性を裏付けるメカニズムを報告した。