ゼユ・レオ・リウ氏らは11月5日(現地時間)、arXiv cs.LGを通じて、機械学習におけるオンポリシー蒸留 (On-Policy Distillation、OPD) の計算効率に関する研究結果を発表した。この研究は、OPDとグループ相対方策最適化 (Group Relative Policy Optimization、GRPO) を体系的に比較したもので、教師モデルの選択がOPDの浮動小数点演算回数 (FLOPs) あたりの精度に大きく影響することを明確に示した。
オンポリシー蒸留 (OPD) は、固定された教師モデルからのトークンごとの教師信号に基づき、自身のロールアウト上で生徒モデルを訓練する手法である。研究チームは、この密な教師信号が、強化学習と比較して目標精度に到達するために必要な訓練FLOPs（浮動小数点演算回数）を削減できるかどうかを検証した。
具体的には、バニラリバースKL-OPDとグループ相対方策最適化 (GRPO) を、タスクの難易度、生徒モデルと教師モデルのサイズ、ドメイン、および最適化の選択肢にわたって体系的に比較し、訓練FLOPsに対する保持精度を測定した。外部で事前に訓練された教師モデルを使用した場合、一般的にOPDは、一致する設定において訓練FLOPsあたりの精度でGRPOに劣る傾向にあり、しばしば応答長の肥大化を引き起こすことが示された。
しかし、異なる教師モデルを使用した場合、状況は大きく変化する。教師モデルが生徒モデル自身のGRPOチェックポイントである場合、OPDは数学タスクにおいて、GRPOが同じ精度に到達するのに必要な蒸留FLOPsのわずか50分の1で、そのチェックポイントの精度を回復できることが判明した。この教師設定に従い、より大きな生徒モデル、コードタスク、および第二のモデルファミリーにおいても、この高い効率性が一貫して観察された。
ただし、単一ドメインにおいては、GRPOチェックポイント自体がすでに望ましいモデルであるため、それを再度蒸留することは合計計算量を増加させるという課題がある。複数のドメインにわたる課題では、別々のGRPOチェックポイントがそれぞれ異なる能力を持つため、単一のチェックポイントでは全てのドメインに対応できない。DeepSeek-AIが2026年に発表したマルチ教師OPDは、このような状況に対応するため、ドメインごとのGRPOエキスパートを単一の生徒モデルに統合し、各エキスパートの精度に一致させることを目指す。
このマルチ教師OPDにおける蒸留段階は、専門家訓練FLOPsに対し、2ドメインで5.2%、4ドメインで8.0%のコストで実現される。専門家訓練と蒸留を合わせると、このパイプラインは、2ドメイン混合のGRPOの性能を総FLOPsを42.0%削減して達成可能である。
参考: arXiv cs.LG (アーカイブ) — 2026年11月6日 03:47 (JST)