#OPD 関連記事 | AI Edgeline

大規模言語モデルのオンポリシー蒸留、単一クエリでも効率改善

ジースアン・フー (Zixuan Fu) 氏らの研究グループは2026年9月3日(現地時間)、学術論文公開サイトarXiv cs.AIを通じ、大規模言語モデル (Large Language Models) の「オンポリシー蒸留 (On-policy distillation, OPD)」における訓練データの役割に関する研究結果を発表した。単一のクエリを用いた訓練 (one-shot OPD) でも、数百ステップにわたる改善が見られ、広範なタスクドメインやモデルファミリーにおいて、全データを用いたOPDとほぼ同等の効果が得られることを示した。

オンポリシー蒸留、パラメータ更新の疎性・幾何学を分析

arXiv cs.LGは2026年6月11日(現地時間)、Guo Yu氏らが執筆した論文「Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation」を発表した。本研究は、オンポリシー蒸留 (OPD) におけるモデルのパラメータ変化に焦点を当て、その疎性および幾何学的性質に関する主要な分析結果を提示している。分析は複数の言語モデルと視覚言語モデルのペア、およびユースケースにわたって実施された。