arXiv cs.CLが2026年7月28日(現地時間)、強化学習における新しい蒸留手法「Relay On-Policy Distillation (Relay-OPD)」に関する論文を発表した。この手法は、従来のOn-policy distillation (OPD) が抱える「prefix failure」という課題を克服するために、教師モデルと学生モデルの挙動の非対称性を活用する。これにより、数学的推論ベンチマークにおいて既存手法を上回る性能を示し、トレーニングの効率も向上させた。
On-policy distillation (OPD) は、学生モデル自身の生成軌跡に基づいてトークンレベルの教師信号を与える手法である。しかし、学生モデルが誤った推論方向にコミットすると、その後の生成全体がこの逸脱に基づいて構築され、信頼性の低い教師信号を生み出し、計算資源を無駄にする「prefix failure」という問題があった。今回発表されたRelay On-Policy Distillation (Relay-OPD) は、失敗した接頭辞（prefix）における教師モデルと学生モデルの継続の非対称性を特定する。
具体的には、教師モデルが軌跡を修正する傾向があるのに対し、学生モデルは元の方向に継続しようとする非対称性を、ラベル不要な引き継ぎトリガーとして利用する。トレーニング中、Relay-OPDは検出されたトリガーポイントで教師モデルに一時的に引き継ぎ（teacher leg）をさせ、その後学生モデルが再開して結果の軌跡で最適化されるrelay trajectoriesを構築する。限られた引き継ぎ予算により、介入は重要な初期位置に集中し、学生モデルのポリシーからの逸脱を抑制する。
実験では、Qwen3-4B-Instruct-2507を教師モデル、Qwen3-0.6B/1.7B-Non-Thinkingを学生モデルとし、8つの数学的推論ベンチマークで評価が行われた。Relay-OPDは、全てのベンチマークで最高または2番目に良い結果を達成した。具体的には、1.7Bモデルにおいて標準的なOPDを平均+5.73%、最も強力なベースラインであるFastOPDを平均+1.49%上回り、0.6Bモデルでも一貫した性能向上が確認された。また、トレーニング軌跡の長さは50%以上削減された。
参考: arXiv cs.CL (アーカイブ) — 2026年7月29日 02:59 (JST)
原文ハイライト"Relay-OPD achieves the best or second-best results on every benchmark, outperforming standard OPD by +5.73%"