arXivが2026年8月6日(現地時間)付けで報じたところによると、シンイエ・ワン (Xinye Wang) 氏、ジュンシャオ・リウ (Junxiao Liu) 氏、シュージアン・ファン (Shujian Huang) 氏らは、大規模言語モデル (LLM) の多言語推論転送能力を拡張するための新たな自己蒸留法「RP-OPSD (Reasoning-Pivot-Guided On-Policy Self-Distillation)」に関する論文を公開した。この手法は、推論プロセスにおいて重要な「reasoning pivots」に焦点を当てた特権的な蒸留を行うことで、既存のベースラインやOn-policy self-distillation (OPSD) の派生モデルを上回る性能を示したという。
大規模言語モデル (LLM) において、リソースの豊富な言語圏を超えて推論能力を多言語に転送することは重要な課題の一つとされている。既存のOn-policy self-distillation (OPSD) とその派生モデルは、学生モデルが生成したロールアウトに対して密なトークンレベルの監視を提供する有望なパラダイムとして登場したが、その目標はクロスリンガル転送に最も重要な推論シグナルを明示的に優先していなかった。
本研究では、ターゲット言語の推論が表面的なテキストの生成と、推論プロセスを進行または再方向付けし、その後の推論を形成する意思決定であるreasoning pivotsの生成の両方から構成されると特徴づけた。この知見に基づき、RP-OPSDは、英語の参照ソリューションの有無における整合した教師ビュー間の分布シフトを運用上の代理として利用し、特権的な蒸留と参照の固定化を導く。
数学推論ベンチマークを用いた実験では、17言語と複数の難易度レベルをカバーするデータセットで評価を実施した。その結果、RP-OPSDは強力な多言語推論ベースラインとOPSDの派生モデルを上回る性能を示した。さらに分析により、RP-OPSDはreasoning-controlとproblem-conditioned state-updateトークンに特権的な蒸留を集中させ、主に表面的なテキストの実現をサポートするトークンではその重みを下げていることが明らかになった。研究のコードはNJUNLPのGitHubで公開されている。
参考: arXiv cs.CL (アーカイブ) — 2026年8月7日 02:52 (JST)
原文ハイライト"On-policy self-distillation (OPSD) and its variants have emerged as a promising paradigm"