Tag
4 件の関連記事
Zongye Lyu (ゾンイェ・リュウ) 氏は2026年10月2日(現地時間)、arXiv cs.LGで発表した研究論文で、検証可能な報酬による強化学習 (RLVR: Reinforcement learning with verifiable rewards) が報告するドメイン外での性能向上の一部が、モデルの回答形式に起因する可能性を指摘した。特に7B SimpleRLモデルにおいて、既存の回答抽出器が報告する多肢選択式問題のドメイン外性能向上のうち82%が、回答形式の変更によるものだったという。これは、モデルが回答の質を直接的に向上させるのではなく、抽出器が探索する特定の形式に回答を配置したことによる見かけ上の改善を示唆している。
arXiv cs.LGが2026年10月7日(現地時間)付けで報じたところによると、Saif Punjwani氏とMicah Goldblum氏は、検証可能な報酬による強化学習（RLVR）における新たな手法として「Exploration-Distillation (ExpDis)」フレームワークを提案する論文を公開した。現代の言語モデルでは、事前に訓練されたチェックポイントにRLVRを適用するが、従来の強力な新規性インセンティブの導入はモデル品質を低下させる課題があった。ExpDisは、探索と最適化のプロセスを分離することで、この問題を解決するとしている。
arXivは2026年10月4日(現地時間)、Omar Farouk Zouak氏らによる研究論文「Counterexample Generation via Per-Theorem Symbolic Verifiers: When Imitation Hurts and Reinforcement Repairs」を発表した。本研究は、大規模言語モデル (LLM) が定理の真偽判定において反例生成に課題を抱える「偽証ギャップ」に焦点を当て、教師ありファインチューニング (SFT) がこれを悪化させる可能性を指摘している。検証器を報酬関数とする新たなコーパス「SymCE」を公開し、強化学習によって反例生成能力が改善されることを示した。
arxiv.orgは6月11日(現地時間)、大規模言語モデル (LLM) の推論効率を高める新たなフレームワーク「ReSum」に関する論文を発表した。この研究は、既存の強化学習検証可能報酬 (Reinforcement Learning with Verifiable Rewards: RLVR) における推論の冗長性に着目。LLMが自身の推論軌跡を自己要約することで、推論の無駄を削減し、性能向上を実現したと報告している。実験では、平均4%の性能向上と18.6%の推論長さ削減を達成した。