FADE (Factored Ability--Difficulty Estimation) と題された研究論文は11月2日(現地時間)、オンライン学術論文公開サイトarXivに公開された。同論文は、検証可能な報酬に基づくグループ型強化学習 (RLVR) におけるロールアウトスケジューリングの効率を高める新たなフィルタリング手法「FADE」を提案している。RLVRでは、ポリシーの能力変化とプロンプト固有の難易度が混在し、従来のスケジューラでは効率的な学習が困難であった課題に対処する。
Tomas Duncun氏、Jonah Ellison氏、Mateo Ruiz氏、Hanae Fujita氏、Ingrid Solberg氏ら5名の著者による同論文によると、検証可能な報酬に基づくグループ型強化学習 (RLVR) は、サンプルされた補完結果が異なるプロンプトからのみ学習する。全ての補完が成功または失敗するグループは、相対的なアドバンテージを生み出さず、ポリシーの更新に寄与しないまま生成予算を消費するという課題を抱えていた。
既存の適応型スケジューラは、情報量の多いプロンプトにロールアウトを誘導しようと試みる。しかし、これらのスケジューラは、推論スキルに対するポリシーの能力変化と、各プロンプトの内因的難易度という、進化速度が大きく異なる2つの量が混在するプロンプトごとのパスレートトラッカーに依存していた。単一の指数移動平均やベータカウンターがこれらを同時に追跡すると、記憶期間が短い場合にはプロンプトの相対的な順序が乱れ、長い場合には古いパスレートが報告される問題があった。
FADEは、この2つの時間スケールを分離する双線形状態空間フィルタである。FADEは、各プロンプトの成功ロジットを、白色化された$K$次元スキルローディングと高速にドリフトするポリシー能力ベクトルとの内積から、ゆっくり縮小するスカラ項目インターセプトを引いたものとして表現する。Pólya—Gamma augmentationを用いることで、バイナリロールアウト結果の各ミニバッチは、ランク-$K$ Woodburyステップによって閉形式で$K$次元能力事後確率を更新する。これにより、スキルを共有する未観測の全てのプロンプトに能力変化が即座に転送され、項目インターセプトは安定した状態を保つ。
その結果得られる事後平均と分散から、非退化ロールアウトグループを生成する確率に対する閉形式の効用が導出される。5つの推論ベンチマーク、2つの基本モデル、および一致したロールアウト予算の下での4つのスケジューリングパラダイムにおいて、FADEはダウンストリームの精度とキャリブレーションを一貫して向上させ、ステップあたりの追加計算コストは0.6ミリ秒未満であった。
参考: arXiv cs.LG (アーカイブ) — 2026年11月3日 03:53 (JST)
原文ハイライト"FADE: Factored Ability--Difficulty Filtering for Online RLVR Scheduling"