AI生成ウェブテキスト急増、言語モデル学習への影響を新スケーリング則で解明
Jenna Russellらの研究チームが2026年9月30日、AI生成ウェブテキストが言語モデルの事前学習に与える影響を分析した論文をarXiv cs.CLで発表した。ウェブデータ中のAI生成トークンの比率は2026年6月の27.5%から同年8月には31.1%へ上昇したと指摘し、データ不足のモデルではAIトークンの追加が一時的に損失を減らす一方、過剰な追加は逆効果に転じ、データが潤沢なモデルでは早期から損失が増加する傾向を報告した。