#On-policy-distillation 関連記事

長文推論向け蒸留手法「GC-OPD」を提案、Qwen3モデルの性能向上を確認

arXivが2026年8月19日(現地時間)付けで報じたところによると、Zhu Zhang氏らの研究チームは、長文コンテキスト推論におけるオンポリシー蒸留 (On-policy distillation、OPD) の課題を解決する新手法「Group-Calibrated On-Policy Distillation (GC-OPD)」を発表した。この手法は、教師モデルのトークンレベルのガイダンスとタスク固有の検証器 (verifier) 報酬との不一致を解消し、モデルの性能向上を目指す。既存のQwen3-4BおよびQwen3-8Bチェックポイントに適用した結果、複数のベンチマークで平均スコアが大幅に改善されたと報告されている。

強化学習蒸留の新手法「Relay-OPD」発表、性能と効率向上

arXiv cs.CLが2026年7月28日(現地時間)、強化学習における新しい蒸留手法「Relay On-Policy Distillation (Relay-OPD)」に関する論文を発表した。この手法は、従来のOn-policy distillation (OPD) が抱える「prefix failure」という課題を克服するために、教師モデルと学生モデルの挙動の非対称性を活用する。これにより、数学的推論ベンチマークにおいて既存手法を上回る性能を示し、トレーニングの効率も向上させた。