#Pre-training

Apple研究、低リソース言語のデータ混合がハイパーパラメータ調整上回ると判明

Appleは2026年10月12日(現地時間)、研究ブログ「Apple ML Research」で、データ制約下における言語モデル事前学習に関する研究結果を公表した。低リソース言語モデルの汎化性能向上において、高リソース補助言語とのデータ混合がハイパーパラメータ調整よりも優れた効果を示すとしている。データ混合は検証損失で目標データの2~3倍、下流タスク精度では2~13倍に相当する性能向上をもたらすと報告した。