arXivは2026年11月5日(現地時間)、大規模言語モデルの強化学習ポストトレーニングにおける計算ボトルネックを解消する新システム「FlexFloor（フレックスフロア）」に関する論文を発表した。同システムは、混合エキスパートモデルにおいて、応答生成後の資源占有時間を大幅に短縮し、計算効率とスループットの向上に貢献するとされる。これにより、モデル開発の迅速化と反復改善が支援される見込み。
強化学習ポストトレーニングは、大規模言語モデル (LLM) の能力向上に不可欠なプロセスである一方で、トレーニング応答の生成が大きな計算ボトルネックとなる課題がある。混合エキスパートモデルでは、割り当てられた応答の生成を終えたワーカーが、より長い応答を処理するワーカーが必要とするエキスパートが解放されないため、占有状態を維持する問題が発生していた。ベースラインでは、ワーカーの占有時間の約3分の1が、ローカル応答生成完了後に発生していたという。
今回発表されたFlexFloorは、同期的な応答生成中に資源の早期解放を可能にしつつ、進行中の応答に必要なエキスパート計算を維持するシステムである。FlexFloorは、応答のスケジューリングとアクティブなワーカーグループを連動して適応させる機能を備える。過去の応答長とメモリ制約を活用してバッチ処理とプロンプト配置をガイドし、エキスパートの可用性と適切な通信を維持しながら、ワーカーを段階的に解放する仕組みを採用している。
FlexFloorの性能は、verl baselineとの比較によって評価された。その結果、FlexFloorは占有計算時間単位あたりの応答トークン生成量を約65.40%増加させ、応答生成スループットを52.74%向上させた。ロールアウト報酬における観測可能な変動はほとんどなかったとしている。これらの効率改善により、FlexFloorは強化学習ポストトレーニングをより効率的にし、大規模言語モデルとAIエージェントの迅速な開発および反復的な改善を支援する。
参考: arXiv cs.AI — 2026年11月6日 14:00 (JST)
原文ハイライト"Reinforcement learning post-training improves the capabilities of large language models"