Apple ML Research は2026年7月7日(現地時間)、大規模言語モデル（LLM）のマルチドメインファインチューニングを効率化する新たな手法「DynaMiCS（ダイナミクス）」を発表した。本手法は、特定のターゲットドメインで性能を向上させつつ、一般知識、指示追従、安全性評価といった制約付きドメインでの性能を維持することを目的としている。これにより、既存手法では難しかった多角的な能力の維持を可能にし、モデル開発の安定化に貢献すると考えられる。
DynaMiCSは、マルチドメインファインチューニングを制約付き最適化問題として定式化する動的な混合オプティマイザである。この手法では、各更新ステップにおいて、ドメイン固有の短いプロービング実行を実施する。これにより、ローカルなクロスドメイン効果の勾配行列を推定し、各ファインチューニングデータセットでのトレーニングが各評価ドメインにどのように影響するかを定量的に把握する。
推定された勾配行列は、目標ドメインの性能を向上させながら、制約付きドメインの損失を参照レベル以下に保つことを目指し、確率単体上での最適化を通じて混合重みを計算するために利用される。Apple ML Researchは、ターゲットドメインと制約付きドメインの数が異なるマルチドメインファインチューニングシナリオにおいて、DynaMiCSが固定混合ベースラインと比較して、より強力なターゲットドメインの改善と高い制約満足度を実現すると説明している。
さらに、DynaMiCSは参照モデル、サンプルごとのスコアリング、手動で調整された混合重みを必要とせずに機能するため、計算コストを低く抑えることが可能だ。本研究の著者には、Eleonora Gualdoni氏、Sonia Laguna氏、Louis Béthune氏、Joao Monteiro氏、Pierre Ablin氏、Marco Cuturi氏が含まれる。
大規模言語モデル（LLM）の多目的利用においては、特定のタスクに特化するほど汎用的な能力が低下するという課題が指摘されていた。DynaMiCSは、この問題に対し、明示的な性能制約を最適化プロセスに組み込むことで、構造的な解決策を提示している。これは、Apple（アップル）などの企業が特定の業務に特化したLLMを開発しつつ、倫理的安全性や一般的な推論能力を維持したい場合に有効なアプローチとなる。競合する様々なファインチューニング手法が存在する中で、Apple ML Researchは「制約付き性能維持」という明確な差別化要因を示した形だ。
参考: Apple ML Research (アーカイブ) — 2026年7月7日 09:00 (JST)
原文ハイライト"Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures"