arXiv cs.LG は10月27日(現地時間)、大規模言語モデル (LLM) を利用するツール利用エージェントの性能向上に関する新たな研究成果を発表した。研究チームは、複雑な多段階タスクを完了するエージェント構築のため、合成的に生成されたツール利用環境におけるデータ構成がトレーニングに与える影響を分析。SynthAPI (シンセAPI) パイプラインを提案し、環境生成の多様性を明示的に制御することで、その性能を予測するスケーリング法則を導出した。この法則は、合成環境の規模と構成が、エージェントの汎化性能を予測できる可能性を示す。
アンドリュー・ショット (Andrew Szot) 氏らの研究チームは、LLMツール利用エージェントの汎化性能を予測するためのスケーリング法則を導き出すため、独自に開発したSynthAPIパイプラインを大規模に活用した。このSynthAPIパイプラインは、生成される環境の多様性を詳細に制御できるよう設計されており、具体的にはツール、タスク、およびツールが動作する基盤となるデータベースの三つの軸に沿って、環境の複雑さと多様性を調整する機能を持つ。
研究では、SynthAPIの生成制御パラメーターを系統的に変更し、その影響を広範に分析した。具体的には、4種類の異なるサイズのモデルを849体訓練し、これらの訓練済みモデルにわたる合計458,752ものタスクを実行させた。この膨大な実験データセットの分析を通じて、研究チームは合成環境の規模と構成が、ダウンストリームのツール利用エージェントの汎化性能を予測できる明確なスケーリング法則が存在することを実証した。
この予測可能な関係性の発見は、ツール利用エージェントの開発とデータ戦略においていくつかの重要な示唆を与えている。特に、データ予算が増加するシナリオにおいて、単にタスクの数を増やすよりも、ツールやデータベースの多様性をスケーリングする方が、エージェントの性能向上に対してより効果的であると指摘している。さらに、データの複雑性を高めることで、より顕著な性能向上が得られることも明らかになった。
これらの知見に従って最適化されたスケーリング戦略を用いて訓練されたエージェントは、既存の4つの評価ベンチマークにおいて、先行研究で報告されている大規模なツール利用エージェントや、合成環境生成に関するデータで訓練されたモデルと比較して、一貫して優れた性能を発揮した。
参考: arXiv cs.LG — 2026年10月28日 02:56 (JST)