強化学習蒸留の新手法「Relay-OPD」発表、性能と効率向上
arXiv cs.CLが2026年7月28日(現地時間)、強化学習における新しい蒸留手法「Relay On-Policy Distillation (Relay-OPD)」に関する論文を発表した。この手法は、従来のOn-policy distillation (OPD) が抱える「prefix failure」という課題を克服するために、教師モデルと学生モデルの挙動の非対称性を活用する。これにより、数学的推論ベンチマークにおいて既存手法を上回る性能を示し、トレーニングの効率も向上させた。