Yuhan Wang氏らは8月31日(現地時間)、arXiv cs.CLで論文「PaperGym: Rubric-Centered Evolution for Research-Plan Generation」を公開し、研究計画生成のための統一フレームワーク「PaperGym」を発表した。同フレームワークは科学論文の構造を活用し、質問を研究目標と背景から、評価基準を手法と実験から導出。これにより基準漏洩を3.7%に抑え、Qwen3-8BモデルがResearchQAで73.48を記録し、既存モデルを上回る性能を示した。
PaperGymは、各科学論文を完全なトレーニング環境へと変換する。このフレームワークは、研究計画の生成において、検証可能な回答が存在しないために強化学習が必要とする環境、すなわち批評家とペアになったタスクが不足している課題に対応する。
既存のパイプラインでは、質問と評価基準が同じコンテンツから引き出され、言い換えによって報酬が得られる可能性があった。また、ルーブリックがロールアウトごとに単一のスカラーに圧縮されていた。PaperGymは、質問を研究目標と背景から合成し、評価基準を手法と実験から導出することでこの問題を解決する。抽出されたルーブリックは、方法論的革新と実験設計に及ぶ。
トレーニングではルーブリックを2度使用する。まずOPSDの自己教師の特権的コンテキストとして、次にGRPOの報酬として用いる。このスケジュールは、Qwen3-1.7B/4B/8Bの各モデルにおいて、教師ありファインチューニングや、どちらか一方のステージ、あるいは逆順の組み合わせよりも優れた性能を示した。具体的には、5つのベンチマーク平均でそれぞれ+5.6、+5.0、+4.8ポイント向上した。
PaperGym-20kでトレーニングされたモデルは、レシピを固定した状態で、3者比較においてRubricHub Scienceの28.2%に対し、58.1%の勝率を記録した。研究チームは、このパイプライン、20,000インスタンスのコーパスPaperGym-20k、およびベンチマークであるPaperGym-InnovとPaperGym-Designを公開した。
参考: arXiv cs.CL — 2026年9月1日 02:31 (JST)
原文ハイライト"Rubric-Centered Evolution for Research-Plan Generation"