Apple ML Researchは2026年8月(現地時間)、ツール呼び出し機能を持つモデルの蒸留プロセスを最適化する新手法「プルーフジェン (PROOF-Gen)」を発表した。同手法は、教師モデルが生成した失敗事例から「ゴールデントラジェクトリー」と呼ばれる成功経路を回復させることで、トレーニングデータの質を向上させる。これにより、モデルの展開時における性能向上に貢献する。
教師モデルが生成したトラジェクトリー（経路）を用いた教師ありファインチューニングは、ツール呼び出し機能をモデルに蒸留する際の標準的な初期段階として用いられる。しかし、この「生成・フィルタリング」メカニズムでは、失敗したトラジェクトリーからはシグナルが得られず、モデルの学習が進まないという課題があった。
タウ2ベンチ (τ 2-bench) での試験では、教師モデルの試行の57%が失敗し、そのうち3分の2が「ニアミス」（ほとんどのツール呼び出しは正しいが、1つの決定的なエラーで取り消される）であったと報告されている。プルーフジェン (PROOF-Gen: Per-scenario Reflective Optimization to Overcome Failed Generation) は、失敗したタスクごとにリフレクターが実行トレースと評価フィードバックを分析し、教師モデルを成功経路に導く修正ガイダンスを作成することで、これらの失敗事例からゴールデントラジェクトリーを回復する。
このガイダンスはトレーニング前に除去されるため、学生モデルはタスク固有の足場がないクリーンなデモンストレーションから学習する。タウ2ベンチ (τ 2-bench) での評価では、シナリオごとの最適化により、失敗したシナリオの93%が回復した。この結合データでファインチューニングされたQwen3-4B-Instruct-2507はPass@1が0.132から0.529に向上し、Gemma 4 E4B-itはBFCL v4マルチターンで+7.2ppの改善を示した。
さらに、展開されたパイプラインにおいては、この手法によりトラジェクトリーの品質が目標達成率で+6.3pp向上し、展開されたオンデバイスモデルにおいても目標達成率で+1.5pp、応答品質指標で+1.7から+5.0ppの正の転移が見られた。多言語を含む全てのロケール（非英語圏平均で+1.48pp）で正の転移が確認されている。
参考: Apple ML Research (アーカイブ) — 2026年8月26日 09:00 (JST)