Apple ML Researchは2026年11月12日(現地時間)、言語モデル (LM) のアラインメントにおける理論的限界に関する研究論文を公開した。この研究は、人間が設定した嗜好をモデル出力に反映させながら、基盤モデルの能力を維持するアラインメント手法が持つ情報理論的な限界を詳細に特徴付けている。具体的には、KLダイバージェンス制約下での報酬改善に存在する根本的な限界を明らかにし、最大達成可能な期待報酬ゲインの数式を導出することで、アラインメント技術の基礎的理解を深めるものだ。
論文Theoretical Limits of Language Model Alignmentは、Lucas Monteiro Paes氏、Natalie Mackraz氏、Barry-John Theobald氏、Federico Danieli氏が執筆した。最も一般的なアラインメントアプローチとして、KLダイバージェンス制約下で期待報酬を最大化する強化学習と、N個の独立したサンプルから最高報酬の出力を選択するbest-of-Nアラインメントの二つが挙げられている。研究では、固定されたKLダイバージェンス予算に対して達成可能な最大期待報酬ゲインを導出することで、KL正則化アラインメントの情報理論的な限界を特徴付けている。
最初の成果として、最適な報酬改善に関する閉形式表現が示され、これは先行研究で用いられた√KLではなく、Jeffreys divergence項によって決定されると説明されている。この表現は、基盤モデル下での共分散として再定式化され、基盤モデルのサンプルのみから達成可能なアラインメントゲインを予測する実用的な推定量となる。さらに、代理報酬設定への分析を拡張し、理想的なアラインメントと代理アラインメントのギャップ(報酬ハッキング)が、報酬誤差の大きさとKLペナルティ係数の減少とともに拡大することを示している。
研究では、報酬アンサンブルが報酬ハッキングを軽減することを理論的に証明しており、この手法が実務で用いられる理論的根拠を提供している。経験的検証では、安全性と要約の二つのLMタスクについてKL-reward Pareto frontierを算出し、best-of-Nが理論的限界に非常に近い一方で、PPOとGRPOは大幅に最適ではないことを示している。これらの理論的結果は、アラインメント研究で経験的に観測されてきた複数の現象に光を当て、高い推論コストなしに最適なアラインメントを達成するためには、アルゴリズムの改善が必要である可能性を示唆している。
参考: Apple ML Research (アーカイブ) — 2026年11月12日 09:00 (JST)
原文ハイライト"We characterize the information-theoretic limits of KL-regularized alignment"