arXiv cs.CLは10月21日(現地時間)、論文「Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research」を公開し、大規模言語モデル（LLM）エージェント向けの新たなベンチマーク「Quant-Arena」を発表した。このベンチマークは、LLMが市場仮説の提案、実行可能なシグナルの実装、過去データによるテスト、そして最終的な戦略決定という、量的研究の反復ループ全体をエンドツーエンドで遂行する能力を評価することを目的としている。従来のベンチマークが個別の要素評価に留まる中、Quant-Arenaは研究期間を超えて機能する戦略の生成に焦点を当てる。
Quant-Arenaは、現実のA株市場データセットに基づく公開リーダーボードを特徴としている。このベンチマークは、LLMエージェントが金融市場における複雑な量的取引タスクを実行する際の総合的な能力を測定するように設計されている。評価プロセスにおいて、モデルはまず与えられたデータから特徴量を構築し、株価のスコアリングコードを生成する。この際、2022年から2023年のデータのみからフィードバックを受け取り、学習を行う。その後、モデルは特定の戦略を固定し、2024年の封印されたデータ期間におけるパフォーマンスが評価される。
Quant-Arenaの評価には、現実的な取引制約とコストが適用される。具体的には、シミュレートされたオーダーブックから推定される市場インパクトを含む取引コストが考慮され、キャッシュアカウント評価器によってモデルのパフォーマンスが測定される。主要な評価指標は、実現された超過収益（realized excess return）であり、これにシグナル品質と戦略が利用する特徴量の多様性が補完的に組み合わされる。これにより、単なる予測精度だけでなく、実用的な取引戦略としての有効性が多角的に評価される。
開発チームは、GPT-6 Astraを含む9つのフロンティアモデルをQuant-Arena上で評価した結果を報告している。その中で、GPT-6 Astraが最も高いスコアを記録した。しかしながら、この評価期間を通じて、2024年の封印されたデータ期間においては、どのモデルも等加重市場（equal-weighted market）のパフォーマンスを安定して上回ることはできなかった。この結果は、現在のLLMエージェントが現実の金融市場において持続的な超過収益を生み出すことの難しさを示唆している。
Quant-Arenaは、今後、あらゆるモデルまたはエージェントハーネスからの提出を受け入れ、プラットフォームを通じた継続的な研究と開発を促進する計画である。このベンチマークは、LLMエージェントが金融工学の最先端研究領域で直面する課題を明確にし、将来的にはより高度でロバストな取引戦略の開発へと繋がることが期待されている。
参考: arXiv cs.CL (アーカイブ) — 2026年10月22日 02:54 (JST)
原文ハイライト"Benchmarking LLM Agents for Quantitative Trading Research"