arXivは2026年11月2日(現地時間)、Ziqi Pang (Ziqi Pang)氏らが執筆した論文「Not All Reasoning Generalizes: A Case Study on Learning Generalizable Reasoning Strategies in RLVR」を発表した。この研究は、検証可能な報酬による強化学習 (RLVR) が大規模言語モデル (LLM) の推論汎化能力を向上させる方法を探求し、分布外 (OOD) シフト下でモデルが正しい推論戦略を放棄し、精度が急落する「微妙な失敗」を明らかにした。さらに、全単射逆変換タスクとの共同学習がこの問題を緩和する有効な手段であることを示している。
本論文は、非全単射文字列関数 f(x)=y の方程式の複数の入力 x を見つける制御可能なフレームワークを使用し、推論戦略の汎化を奨励する方法について考察した。
この設定により、推論戦略が観察可能となり、解の増加や出力 y の長さなど、容易なものから困難なOODシフトを明確に定義できる。研究は、RLVRが分布内タスクにおいて、モデルに高精度かつ段階的な導出による解決を促す一方で、OODシフト下では同一モデルが導出を放棄し、非効率な総当たり列挙に陥るという失敗を発見した。これは、モデルが分布内では正しい推論戦略で成功しているため、能力不足のベースモデルや報酬ハッキングによるものではなく、RLVRの汎化におけるより深い課題を示唆する。
この失敗を緩和する鍵は、間接的な介入である全単射逆変換タスクとの共同学習である。これらの全単射タスクは、一様に困難ではなく、非全単射のOOD評価からさらに遠いにもかかわらず、導出をより確実にし、OODシフト下での正しい戦略と精度を大幅に回復させた。この効果は、結果のみのRLVRが、プロセス監視なしでも効果的な推論戦略を暗黙的に評価することで推論プロセスを形成できるという理論的分析を裏付けている。本分析フレームワークと発見は、OODシフト下でのRLVR汎化における推論戦略の重要な役割と奨励方法を体系的に明らかにしている。関連コードは公開されている。
参考: arXiv cs.LG (アーカイブ) — 2026年11月3日 03:53 (JST)
原文ハイライト"Not All Reasoning Generalizes: A Case Study on Learning Generalizable Reasoning Strategies in RLVR"