Direct-OPDでモデル学習を効率化、Qwen3-1.7Bの性能向上
arXiv (アーカイヴ) は2026年7月6日(現地時間)、論文「Weak-to-Strong Generalization via Direct On-Policy Distillation」を公開し、研究者らは「Direct On-Policy Distillation (Direct-OPD)」と呼ばれる手法を提案した。この手法は、検証可能な報酬による強化学習 (RLVR) における高コストな課題に対し、より小さいモデルでの学習結果を効率的に強力なモデルへ転用することを可能にする。特に、Qwen3-1.7Bの推論性能をAIME 2024で向上させたとしている。