リサーチ・論文

多言語推論転送向け自己蒸留法 RP-OPSD を提案

arXivが2026年8月6日(現地時間)付けで報じたところによると、シンイエ・ワン (Xinye Wang) 氏、ジュンシャオ・リウ (Junxiao Liu) 氏、シュージアン・ファン (Shujian Huang) 氏らは、大規模言語モデル (LLM) の多言語推論転送能力を拡張するための新たな自己蒸留法「RP-OPSD (Reasoning-Pivot-Guided On-Policy Self-Distillation)」に関する論文を公開した。この手法は、推論プロセスにおいて重要な「reasoning pivots」に焦点を当てた特権的な蒸留を行うことで、既存のベースラインやOn-policy self-distillation (OPSD) の派生モデルを上回る性能を示したという。

リサーチ・論文

大規模言語モデルの訓練手法DemoPSD、特権情報漏洩を軽減し効率向上へ

arXiv cs.LGは7月2日(現地時間)、ユンヘ・リー (Yunhe Li) 氏らの研究グループが、大規模言語モデル (LLM) の訓練における新たなフレームワーク「DemoPSD」を発表したと報じた。従来のオンポリシー自己蒸留 (OPSD) が抱える、教師モデルの特権情報に基づく密なトークンレベルの監督による特権情報漏洩と探索能力抑制の課題に対し、DemoPSDは教師ガイダンスを選択的に適用することで解決を目指す。これは、モデル開発の安全性と効率性を高める可能性を秘める。