Zongye Lyu (ゾンイェ・リュウ) 氏は2026年10月2日(現地時間)、arXiv cs.LGで発表した研究論文で、検証可能な報酬による強化学習 (RLVR: Reinforcement learning with verifiable rewards) が報告するドメイン外での性能向上の一部が、モデルの回答形式に起因する可能性を指摘した。特に7B SimpleRLモデルにおいて、既存の回答抽出器が報告する多肢選択式問題のドメイン外性能向上のうち82%が、回答形式の変更によるものだったという。これは、モデルが回答の質を直接的に向上させるのではなく、抽出器が探索する特定の形式に回答を配置したことによる見かけ上の改善を示唆している。
研究では、ベースモデルおよびそのRLモデルからの出力を、既存の回答抽出器と、Zongye Lyu氏の研究チームが独自に開発した回答抽出器の二種類でスコアリングした。独自の抽出器は、回答が回答ボックス内にあっても、テキスト内に含まれていても、明示された回答を正確に読み取るよう設計されている。この手法により、モデルが回答の質を向上させることなく、単に抽出器が探す場所に回答を記述することでスコアが高くなる可能性を評価した。
リリースされている4つの7B SimpleRLベース-RLペアを用いた分析の結果、既存の抽出器が報告するドメイン外の多肢選択式問題における性能向上について、その82%が独自の抽出器を用いた場合には見られなくなった。このことから、この性能向上は回答そのものの質的向上ではなく、回答形式の変化によるものであると結論付けられた。具体的には、ベースモデルは既に回答の大部分をテキスト内に含んでおり、RLモデルはこれらの回答を、抽出器が最初に探索する回答ボックスへと移動させていた。
独自の抽出器の代わりに、独立したLLMリーダーを用いた場合でも、この数値は77%だった。また、回答ボックスでの形式を求めるプロンプトを明示的に使用した場合、独自の抽出器を用いた分析では79%という結果になった。一方で、別の手法で学習された32Bペアの分析では、報告された性能向上のほとんどが形式によるものではなかったことが判明した。この32Bベースモデルは要求された場合に回答をボックス化し、RLモデルは要求されない場合にはほとんどボックス化しなかった。これらの結果は、報告される性能向上が、それを読み取る抽出器の特性に部分的に依存することを示している。
参考: arXiv cs.LG — 2026年10月16日 13:00 (JST)
原文ハイライト"How Much of RLVR's Out-of-Domain Gain Is Answer Format?"