Shrinivas Ramasubramanian氏ら研究チームは2026年9月3日(現地時間)、強化学習における平均報酬最適化の課題を解決する新たな手法「Tail-Likelihood Reinforcement Learning (TailRL)」に関する論文をarXivで発表した。この手法は、生成ポリシーにおける希少な高報酬の結果が得られる確率を直接最大化することを目指す。
従来の強化学習は通常、平均報酬の最適化を目的とする。しかし、生成ポリシーにおいては、平均報酬が同一であっても、まれに発生する高報酬の結果を生み出す可能性には大きな差があることが指摘されてきた。
TailRLは、この点を改善するため、報酬の連続値を二値の成功イベント群と捉え、ランダムに選択された報酬しきい値を超える対数確率を最大化する。このアプローチにより、希少な高報酬の結果により大きな重みを与える勾配が生成されるとされる。既存の強化学習パイプラインへの適合性も高く、アドバンテージ関数（advantage function）の簡単な修正で導入可能と説明されている。
TailRLは、オブジェクト認識（object localization）、迷路探索（maze navigation）、GUIグラウンディング（GUI grounding）、コード最適化（code optimization）といった多様な応用例で有効性が確認されている。論文によれば、この手法は希少な高報酬の訓練サンプルを活用し、最適ではない解決策を回避し、推論時に追加のサンプルからより大きな恩恵を受けるモデルを生成する可能性があると見られている。
参考: arXiv cs.LG (アーカイブ) — 2026年9月4日 13:00 (JST)
原文ハイライト"Tail-Likelihood Reinforcement Learning (TailRL), which maximizes the log-probability of exceeding"