ジースアン・フー (Zixuan Fu) 氏らの研究グループは2026年9月3日(現地時間)、学術論文公開サイトarXiv cs.AIを通じ、大規模言語モデル (Large Language Models) の「オンポリシー蒸留 (On-policy distillation, OPD)」における訓練データの役割に関する研究結果を発表した。単一のクエリを用いた訓練 (one-shot OPD) でも、数百ステップにわたる改善が見られ、広範なタスクドメインやモデルファミリーにおいて、全データを用いたOPDとほぼ同等の効果が得られることを示した。
フー氏らの研究は、既存の研究で不明確だった訓練データの役割に焦点を当て、データが最小限の「単一クエリ」での訓練を検証した。単一クエリによるOPDは、数百ステップにわたり性能向上を継続し、全データを用いたOPDの性能向上分の大部分を回復する結果となった。
研究グループはこの結果について、訓練中に訪問される状態と、学生モデルが教師モデルに合わせる速度を通じて説明している。状態カバレッジ (state coverage)を測定したところ、単一のクエリでも全データOPDが訪問する状態の71.5%に達し、その大部分は最初の100ステップ以内に達成されたという。
意味的に異なるクエリを追加すると、カバレッジと検証精度は共に向上し、16のクエリで98.9%に達し、全データ訓練に匹敵することが確認された。しかし、OPDにおける学生モデルの教師モデルへのアライメント (alignment) 速度は、単一クエリの場合もデータセット全体の場合も同様に遅く、固定された状態セットでも吸収に数百ステップを要することが判明した。
このことから、OPDはデータは過剰供給だが、アルゴリズムは飢餓状態であると結論付けた。OPDのロールアウトは迅速に広範な教師情報を提示する一方で、学生モデルはその情報をますますゆっくりと吸収するという。この状態カバレッジの結果は、複数の教師モデルを用いるマルチティーチャーOPD (MOPD) にも拡張され、ドメインごとに16の異なるクエリを使用することで、全データMOPDに匹敵する性能を示した。さらなるストレステストとして、コンテンツの少ないテンプレートやドメイン外のWildChatクエリでも、実際のクエリのベースラインに迫る結果が得られている。
参考: arXiv cs.AI — 2026年9月4日 02:54 (JST)
原文ハイライト"OPD is therefore data-overfed but algorithm-starved."