LLMツールエージェントの性能予測、合成環境でのスケーリング法則を解明
arXiv cs.LG は10月27日(現地時間)、大規模言語モデル (LLM) を利用するツール利用エージェントの性能向上に関する新たな研究成果を発表した。研究チームは、複雑な多段階タスクを完了するエージェント構築のため、合成的に生成されたツール利用環境におけるデータ構成がトレーニングに与える影響を分析。SynthAPI (シンセAPI) パイプラインを提案し、環境生成の多様性を明示的に制御することで、その性能を予測するスケーリング法則を導出した。この法則は、合成環境の規模と構成が、エージェントの汎化性能を予測できる可能性を示す。