arXivは8月4日(現地時間)、チャンル・ク氏らが大規模言語モデル (LLMs) のツール統合型推論 (Tool-Integrated Reasoning) における課題解決を目指す、新しいフレームワーク「ターンサイト (TurnSight)」を発表した論文を公開した。このフレームワークは、実行条件付き後知恵からの教師信号導出を通じて、従来の強化学習手法が抱えるきめ細かな信用割り当ての限界に対応する。
大規模言語モデル (LLMs) が反復的なツール連携を伴う複雑なタスクを解決するツール統合型推論 (Tool-Integrated Reasoning) において、既存の強化学習手法は軌道レベルの教師信号に依存することが多く、長期間にわたるシナリオでのきめ細かな信用割り当てが制限されるという課題が指摘されていた。
また、高密度の信号を提供するオンポリシー自己蒸留アプローチでは、真の答えや取得されたスキルから文脈を導出する既存手法が、エージェントが実際に訪問した状態を反映しない可能性があった。
これらの課題に対処するため、ターンレベルの後知恵自己蒸留フレームワークであるターンサイト (TurnSight) が提案された。TurnSightは、実行条件付き後知恵から教師信号を直接導出する点が特徴である。その後、異なる先行期間を持つ複数の後知恵ビューを構築し、複数期間間の方向一致を介して信頼性の高い教師信号を選択する。
最終的に、選択された後知恵信号は兄弟ロールアウト間で正規化され、元の最適化方向を維持しつつ、強化学習 (RL) の利点を適応的に変調するために使用される。
この研究は、チャンル・ク氏、スンハオ・ダイ氏、ヘンイー・ツァイ氏、ユウチー・ジョウ氏、シンラン・チェン氏、サイモン氏、ジュン・シュウ氏によって実施された。3つのベンチマークにおける広範な実験を通じて、TurnSightの有効性が示されている。関連コードはGitHubで公開されている。
参考: arXiv cs.CL (アーカイブ) — 2026年8月5日 02:59 (JST)