arXiv cs.LGは10月18日(現地時間)、強化学習（Reinforcement Learning）における新しい知識蒸留手法「ケイパビリティ認識型マルチティーチャー・オンポリシー蒸留 (Capability-Aware Multi-Teacher On-Policy Distillation、CA-MOPD)」に関する論文を公開した。本手法は、複数の専門家（教師）からの知識を共有の学生モデルに統合する際、学生が既に学習した能力を考慮する点が特徴だ。既存のマルチティーチャー・オンポリシー蒸留 (Multi-Teacher On-Policy Distillation、MOPD) が抱える、学生モデルの能力を超過した場合でも過剰な監督が割り当てられる課題を解決。ベンチマークテストでは、既存手法を上回る平均スコアを達成している。
マルチティーチャー・オンポリシー蒸留 (MOPD) は、ドメイン固有の専門家を共有の学生モデルに統合する手法だが、各教師がどの程度の強度で監督すべきか決定することが課題だった。従来の乖離ベースの割り当てでは、学生が教師のタスク性能に既に匹敵するかそれを超えている場合でも、行動の不一致が能力の不足を意味しないにもかかわらず、強い監督が割り当てられることがあった。
提案されたCA-MOPDは、専門家のマージと能力誘導型割り当てを組み合わせることで、学生が既に学習した内容を考慮する。CA-MOPDはまず、強化学習の専門家群を強力な学生モデルの初期化に統合し、その後、検証者によって推定された教師と学生の能力ギャップを用いてドメインレベルの蒸留強度を調整する。能力ギャップが縮小すると監督は減少し、推定される学生の能力が後退した場合は監督が増加する。同時に、密なトークンレベルのガイダンスは教師によって提供され続ける。
数学、コード生成、指示追従にわたる6つのベンチマークにおいて、CA-MOPDは平均スコア32.22を達成した。これは、ナイーブなMOPDを0.86ポイント、Open-MOPDを0.83ポイント、そしてマージされた初期化を0.74ポイント上回る結果である。制約された比較実験では、同等のトレーニング予算の下でも、マージされた初期化と能力ギャップ誘導の利点がさらに裏付けられた。
この論文の著者は、シュアンフェン・ヤン (Xuanfeng Yang) 氏、ル・グイ (Le Gui) 氏、ジアミン・ワン (Jiaming Wang) 氏、シュアン・チャン (Xuan Zhang) 氏である。
参考: arXiv cs.LG (アーカイブ) — 2026年10月21日 13:00 (JST)