Ishan Patel（イーシャン・パテル）氏らは2026年8月6日(現地時間)、arXiv cs.CLを通じて、大規模言語モデル (LLM) におけるツール利用の新たな手法「プログラマティックツールコーリング (PTC)」に関する研究結果を発表した。この研究では、PTCが従来のJSONツールコーリングと比較して、確立されたベンチマークBFCL v4において、多くのモデルで同等かそれ以上の性能向上を達成したことが示された。特にGPT-5.6 familyのモデル群では、既存手法に対して10.6%の改善が見られたと報告されている。
イーシャン・パテル (Ishan Patel) 氏、サヒル・セン (Sahil Sen) 氏、エリアス・ルーマー (Elias Lumer) 氏、ヴァムセ・クマール・スッビア (Vamse Kumar Subbiah) 氏らが発表した本研究は、LLMが外部ツールを効果的に利用する能力を評価するBFCL v4ベンチマークを用いて、プログラマティックツールコーリング (PTC) とネイティブJSONツールコーリングの性能を比較評価した。
PTCは、ツールを型付きのPythonスタブとしてLLMに提示し、モデルがコードを介してそれらを直接呼び出すパラダイムである。この手法では、ツールの実行とその結果の処理が単一のエージェントターン内で完結するよう設計されている。研究チームは、このアプローチがLLMのツール利用の精度と信頼性を向上させる可能性に着目した。
評価の結果、PTCはBFCL v4ベンチマークにおいて、対象とした14種類の言語モデルのうち11モデルで、ネイティブJSONツールコーリングと同等かそれ以上の性能を示すことが確認された。これは、PTCが既存のJSONベースのツール利用手法に代わる、実行可能で堅牢な選択肢であることを強く示唆している。
さらに、研究ではより複雑なシナリオでのPTCの性能も検証された。複数のツールを並行して呼び出す「並列ファンアウト」条件下では、14モデル中13モデルでベースラインと同等かそれ以上の性能を達成した。この結果は、PTCが複雑なタスクにおいても効率的に機能することを示している。
また、関連する情報をモデルに提示する際に、ツール関連情報が周辺の大量のコンテキスト情報に埋もれてしまう「コンテキストロット」という困難な条件下での評価も行われた。この条件下では、ベースライン手法の平均性能が2.3%低下したのに対し、PTCは安定した性能を維持した。これは、PTCがノイズの多い環境下でもその堅牢性を保つことを裏付けるものである。
本研究は、PTCの性能がモデルのリリース世代間の能力向上と密接に連動していることを指摘しており、今後のLLM開発においてツール利用の最適化が進むにつれて、PTCのような手法がより一層重要性を増す可能性を示唆している。著者らは、PTCがよりシンプルで、かつ高性能なLLMツール利用の未来を拓く可能性について言及している。
参考: arXiv cs.CL (アーカイブ) — 2026年8月7日 02:58 (JST)
原文ハイライト"The Bitter Lesson of Tool Calling"