arXivが2026年8月19日(現地時間)付けで報じたところによると、Zhu Zhang氏らの研究チームは、長文コンテキスト推論におけるオンポリシー蒸留 (On-policy distillation、OPD) の課題を解決する新手法「Group-Calibrated On-Policy Distillation (GC-OPD)」を発表した。この手法は、教師モデルのトークンレベルのガイダンスとタスク固有の検証器 (verifier) 報酬との不一致を解消し、モデルの性能向上を目指す。既存のQwen3-4BおよびQwen3-8Bチェックポイントに適用した結果、複数のベンチマークで平均スコアが大幅に改善されたと報告されている。
Zhu Zhang（チュー・チャン）氏ら9名の研究者によって提案されたこのGroup-Calibrated On-Policy Distillation (GC-OPD)は、長文コンテキストタスクにおいて、従来のOPDが抱えていた問題を診断し、解決策を提供する。
従来のOPDは、より強力な教師モデルからの密なトークンレベルのガイダンスを用いて学生モデルを訓練する。しかし、長文タスクでは、このトークンレベルの教師サポートが、入力全体に分散した証拠を見落としたり、グローバルなタスク制約に違反したりする、局所的に妥当な応答を優先する傾向がある。これに対し、タスク固有の検証器は応答レベルでタスクの完了度を評価し、部分的な成功を反映する段階的な報酬を返すことが可能である。研究チームは、この教師モデルのトークンレベルのガイダンスと検証器報酬との間に不一致が生じることを、2つの代表的な長文証拠集約タスクで確認した。
この観察に基づき開発されたGC-OPDは、検証器報酬と軌道レベルのOPDスコアを各ロールアウトグループ内で個別に正規化し、その差を符号付きの教師-検証器不一致残差として利用する。この軌道レベルの残差は、Relative-advantage-based credit assignment (RACA) により、元のOPDシグナルを保持しつつ、相対的なOPDアドバンテージに応じてトークン全体に分配される。
5つの長文ベンチマークにおいて、GC-OPDを用いた事後訓練により、Qwen3-4BおよびQwen3-8Bの公式チェックポイントの5ベンチマーク平均スコアがそれぞれ29.08から40.47へ、35.12から44.65へと向上した。同じ設定でのVanilla OPD（通常のOPD）は、それぞれ39.31と43.56のスコアに達した。制御されたアブレーション研究では、符号付き残差が他の手法よりも有効であり、RACAが均一なトークン割り当てよりもさらに改善をもたらすことが示された。これらの結果は、グループ相対残差キャリブレーションが、密なトークンレベルのガイダンスを捨てることなく検証器の成果を取り込むことを示唆している。
参考: arXiv cs.LG (アーカイブ) — 2026年8月20日 02:54 (JST)
原文ハイライト"Group-Calibrated On-Policy Distillation (GC-OPD). GC-OPD separately normalizes verifier rewards and trajectory-level OPD scores"