arXiv (アーカイヴ) は2026年7月6日(現地時間)、論文「Weak-to-Strong Generalization via Direct On-Policy Distillation」を公開し、研究者らは「Direct On-Policy Distillation (Direct-OPD)」と呼ばれる手法を提案した。この手法は、検証可能な報酬による強化学習 (RLVR) における高コストな課題に対し、より小さいモデルでの学習結果を効率的に強力なモデルへ転用することを可能にする。特に、Qwen3-1.7Bの推論性能をAIME 2024で向上させたとしている。
検証可能な報酬による強化学習 (RLVR) は、言語モデルの推論能力向上に有効な手段であるものの、新しい強力なモデルごとにトレーニングを繰り返す際のコストが高いという課題が指摘されていた。これは、ターゲットモデルがトレーニング中に多数のロールアウトを生成する必要があるためで、モデルの規模が拡大するにつれて、後処理自体がボトルネックとなっていた。
提案されたDirect-OPDは、この課題に対し、より小さいモデルで強化学習を実行し、その学習成果をより強力なターゲットモデルの改善に再利用する。従来の、強化学習後の弱い教師モデルを直接蒸留する手法では、教師モデルの最終的なポリシーに有用な強化学習の成果と小さいモデルの限界が混在してしまうため、十分な効果が得られない可能性があった。
Direct-OPDは、強化学習後の教師モデルと強化学習前の参照モデルを比較し、それらのログ比率を生徒モデルに対する密な暗黙的報酬として扱う。これにより、強化学習が弱いモデルに特定のアクションを取る傾向を強めたり弱めたりした信号を、より強力な生徒モデル自身のオンポリシーな状態に直接適用する。このアプローチは、明示的な報酬モデルの学習や、ターゲットモデルでの疎な報酬の強化学習を不要にし、弱いモデルの強化学習による教師信号を直接再利用できるという。
実験では、Direct-OPDは弱い教師モデルを活用して、より強力なターゲットモデルを一貫して改善することを示した。特筆すべきは、Qwen3-1.7BをAIME 2024において48.3%から62.4%へ向上させ、この処理は8基のA100 GPUsを用いてわずか4時間で完了したという。この手法は、ステップ数が一致する直接的な強化学習を上回り、複数のポリシーシフトの逐次的な合成を可能にする。この結果は、強化学習の成果が単に模倣すべき最終モデルとしてではなく、暗黙的な報酬信号としてモデルのスケールを超えて再利用可能であることを示唆している。
参考: arXiv cs.LG — 2026年7月7日 02:59 (JST)
原文ハイライト"Weak-to-Strong Generalization via Direct On-Policy Distillation"