arXiv cs.LGは2026年10月1日(現地時間)、大規模言語モデル（LLM）の事後訓練を効率化する新たな手法に関する論文「Inverse Reasoning Models for Efficient Post-Training and Verification from Answer-Only Data」を公開した。本研究は、回答のみのデータから推論過程を生成する「逆推論LLM (inverse reasoning LLM)」を活用。コストの高い教師データや計算負荷の高い強化学習なしにLLMを訓練する自己蒸留技術を提案している。
本研究は、既存のLLM訓練手法が抱える課題への対応を目指している。従来の教師ありファインチューニングでは、推論過程のトレースデータが必須であり、回答のみのデータでは非効率とされる。一方、強化学習は推論過程データなしでも機能するものの、最適化ステップごとに複数回の自己回帰的完了が必要となるため、計算効率が低いという問題があった。
提案された自己蒸留技術は、推論過程（CoT: Chain-of-Thought）を潜在変数として扱い、回答のみのデータを使用する点が特徴だ。この手法の核は、回答に基づいて元の推論過程を生成する逆推論LLM (inverse reasoning LLM) の訓練にある。一度訓練された逆推論モデルは、その後の回答のみのデータバッチ全体で再利用が可能であり、全ての生成はオフラインで事前に行われるため、継続的な事後訓練に特に適していると研究チームは述べている。
Eric O. Korman氏の研究チームは、Qwen3-0.6BモデルをCountdownおよびGSM8Kタスクで評価した。その結果、従来のGRPO訓練が飽和した後でも、逆推論モデルを用いた一度のオフライン蒸留ラウンドにより、難しいプロンプトでのpass@1が約2倍に向上することを確認した。特にCountdownタスクでは、rejection-sampling self-distillationを全てのハードテール指標とミックス比率で上回る性能を示した。さらに、逆推論モデルは正解検証者としても機能し、Countdownタスクにおけるテスト時の「ベストオブn」選択での選択精度を0.753（多数決）から0.969に向上させることが示された。
この研究は、COLM 2026 Workshop on Efficient Reasoningにて発表された。
参考: arXiv cs.LG (アーカイブ) — 2026年10月15日 13:00 (JST)
原文ハイライト"Inverse Reasoning Models for Efficient Post-Training and Verification from Answer-Only Data"