UltraX、大規模LLM事前学習データ精製を革新：品質と効率向上へ
Xinlong Zhao氏ら研究者チームは7月9日(現地時間)、大規模言語モデル (LLM) の事前学習データを精製する新たなフレームワーク「UltraX」を発表した。利用可能な学習データが物理的限界に近づき、スケーリング則による性能向上が鈍化する中、LLMの改善はデータの量よりも質に依存する傾向にある。UltraXは、既存のデータ精製手法が抱える品質、効率、信頼性の課題に対処し、大規模コーパスにおけるきめ細やかなインスタンスレベルの編集を可能にする。