Shu Zhao (シュー・ザオ) と Tan Yu (タン・ユー) らの研究チームは2026年10月20日(現地時間)、学術論文投稿サイト arXiv (アーカイヴ) にて、エージェントオンポリシー蒸留 (Agentic on-policy distillation: OPD) の課題解決に向けた新しい教示者 (teacher) 修復手法「Rollout-to-Scorer Distillation (R2S)」に関する研究成果を発表した。この手法は、教示者の各トークン評価における近視眼性 (myopia) に起因する「ロールアウトスコアラーギャップ (rollout-scorer gap)」を解消し、複合エラー (compounding error) の問題を克服することを目指す。
エージェントオンポリシー蒸留 (OPD) は、学生エージェントが自身の行動履歴に基づいて学習し、その過程で教示者が各トークンを評価する仕組みである。従来のOPDでは、学生エージェントの誤りが蓄積されると、行動履歴が教示者が信頼できる範囲を超えて展開され、最終的にターンを使い果たすという問題が指摘されていた。
研究チームはこの問題が、教示者が各トークンを評価する際にエピソード全体の結末を考慮しない次トークン評価 (next-token scoring)の近視眼性に起因すると分析した。これにより、結果ベースの強化学習であればゼロ報酬で罰せられるような、安全だがタスク完了を遅延させる行動が評価を通過してしまう。教示者が実際に行う行動と、その評価との間に生じるこの乖離を「ロールアウトスコアラーギャップ」と定義している。
提案されたRollout-to-Scorer Distillation (R2S) は、蒸留プロセスを開始する前に教示者のスコアラーを修復する。具体的には、未学習の学生エージェントから教示者との不一致が高い状態を抽出し、その状態から教示者がタスクを引き継いで完了する行動 (takeovers) を実行する。報酬を用いず、合意形成やLLM judgeのようなチェックを通過した状態を保持し、教示者をファインチューニングして、この引き継ぎによる情報が反映されたスコアを付与するように学習させる。
R2Sを適用した教示者は、通常のOPDにおける唯一のスコアラーとして固定される。修復や訓練の過程でタスク報酬は不要となる。実験では、3つの環境、2つの教示者、4つの学生エージェントの組み合わせにおいて、R2Sは3つの最先端のOPD手法を上回る結果を示した。各組み合わせにおいて、既存手法の最良値と比較して平均12.8成功ポイントの改善を達成した。
参考: arXiv cs.CL — 2026年10月21日 02:40 (JST)
原文ハイライト"R2S outperforms three state-of-the-art agentic-OPD methods in all twelve teacher-student-environment cells"