Appleは2026年7月(現地時間)、機械学習研究ブログ「Apple ML Research」にて、推論モデルのトレーニング手法である「on-policy distillation」に関する新たな診断フレームワークを発表した。このフレームワークは、per-tokenの監督シグナルを用いるon-policy distillationが、どのような条件下で有効か、またどのような条件下で有害になるかを詳細に分析する。従来のトレーニング実行では困難だったトークンレベルの動態分析を、トレーニング不要でper token、per question、per teacherの解像度で可能にするという。
同研究では、学生モデルの成功確率を最大化するパラメーター更新として定義される、理想的なper-node gradientが導出された。さらに、長大な中間思考の連鎖に対しても効率的にこの勾配を推定するため、スケーラブルなtargeted-rollout algorithmが開発されている。
理想的な勾配と任意の蒸留勾配とのコサイン類似度として定義されるgradient alignment scoreは、特定の構成が理想的なシグナルをどの程度近似するかを定量化する。この診断フレームワークを用いた分析により、自己蒸留設定と外部教師モデルの双方で、蒸留ガイダンスが誤ったロールアウト（incorrect rollouts）において、正しいロールアウト（correct ones）よりも理想的な勾配との高いアライメントを示すことが観測された。学生モデルが既に良好なパフォーマンスを示す正しいロールアウトでは、教師のシグナルがノイズになる傾向があるという。
また、最適な蒸留コンテキストは、学生モデルの能力とターゲットタスクに共同で依存し、単一で普遍的に効果的な構成は存在しないことが判明した。これらの発見は、蒸留プロセスにおいてper-task、per-tokenの診断分析を適用する重要性を示すものとなっている。
本フレームワークは、推論モデル開発チームに対し、蒸留プロセスがモデルの性能向上に寄与しているか、あるいは悪影響を及ぼしているかを客観的に評価する手段を提供し得る。これにより、従来の試行錯誤に頼りがちだった蒸留戦略の最適化が、よりデータに基づいたアプローチへと移行する可能性を秘めていると見られる。各モデルの特性やタスクに応じて、蒸留シグナルをどのように調整すべきか、またどの部分で教師からのガイダンスがノイズになり得るかを早期に特定し、開発サイクルの短縮にもつながるだろう。
この研究論文の著者には、Mohammadreza Armandpour氏、Fatih Ilhan氏、David Harrison氏、Ajay Jaiswal氏、Duc N.M Hoang氏、Fartash Faghri氏、Yizhe Zhang氏、Minsik Cho氏、Mehrdad Farajtabar氏らが名を連ねる。
参考: Apple ML Research (アーカイブ) — 2026年7月9日 09:00 (JST)
原文ハイライト"Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why"