Appleは2026年10月12日(現地時間)、研究ブログ「Apple ML Research」で、データ制約下における言語モデル事前学習に関する研究結果を公表した。低リソース言語モデルの汎化性能向上において、高リソース補助言語とのデータ混合がハイパーパラメータ調整よりも優れた効果を示すとしている。データ混合は検証損失で目標データの2~3倍、下流タスク精度では2~13倍に相当する性能向上をもたらすと報告した。
Appleの研究は、世界の言語モデル事前学習の大半がデータ制約下で実施されており、モデルが同じ訓練データを繰り返し参照することで汎化性能が低下する課題を指摘している。低リソース言語の開発では、限られたデータを複数エポックにわたって再利用する必要があり、過学習によって性能が損なわれやすいとされる。
この課題への対処法として、研究は二つの手法を比較した。一つは高い重み減衰(weight decay)などの積極的なハイパーパラメータ調整で、ネットワーク容量を制限するために重みを縮小しモデルを正則化する。こうした調整は既存の訓練データのみを前提とする。もう一つは、高リソース補助言語のデータを低リソースターゲット言語の訓練に混合する手法で、調整可能な混合比率を用いて訓練分布を拡張し、新たな知識で訓練シグナルを多様化する点が異なる。
実験ではアラビア語を低リソースターゲット言語、英語を補助言語とし、パラメータ数1億5000万から14億3000万までの4モデルスケールで、計約1000回の事前学習を実施して両手法を比較した。
結果、データ混合はハイパーパラメータ調整に比べ、検証損失と下流タスク精度の双方でより大きな改善を示した。この差はモデルサイズが大きくなるほど拡大し、データ混合による性能向上は検証損失でユニークなターゲットデータの2〜3倍、下流タスク精度では2〜13倍に相当するという。
また、ターゲット言語の検証損失だけではデータ混合の価値を過小評価する可能性があるとしている。データ混合は訓練シグナルを多様化することで正則化効果を発揮する一方、繰り返されるターゲットコーパスからは得られない知識ももたらすが、検証損失はこのうち正則化効果のみを捉えるためとみられる。
Appleは実用上の推奨事項として、高リソース言語とのデータ混合をハイパーパラメータ調整より優先すること、そして小規模な代理モデルからμPを介してハイパーパラメータを転移することを挙げている。μPは、小規模な代理モデルで調整した値を大規模モデルへ理論的に転移する手法で、探索コストを抑えられるとされる。
参考: Apple ML Research — 2026年10月13日 09:00 (JST)
原文ハイライト"mixing yields larger improvements than hyperparameter tuning on both validation loss and downstream task accuracy"