TraceBench（トレースベンチ）は8月27日(現地時間)、時系列データにおける根本原因分析を行う大規模言語モデル（LLM）エージェントの評価に特化した、シミュレーションベースのフレームワークを発表した。同フレームワークは、これまで制御された条件下での体系的な評価が不足していたLLMエージェントの性能を測定し、現実世界の複雑なシステムから得られる時系列観測値の異常検知と根本原因分析への適用拡大を目的としている。
TraceBenchが導入された背景には、LLMエージェントが複雑なタスクに対応する能力を持つ一方で、その性能を体系的に評価する標準的な手法が確立されていなかった現状がある。特に、物理的な動的システムのシミュレーションを通じて生成される時系列データを用いた評価は、現実世界のシステム障害分析に直結する重要な領域だ。
本フレームワークでは、エージェントはシミュレーションによって生成された時系列観測値を受け取る。そのタスクは、システムパラメータの変更の有無を検知し、変更があった場合はどのパラメータが影響を受けたかを特定することだ。研究者であるTommaso Bendinelli（トンマーゾ・ベンディネッリ）氏、Artur Dox（アーサー・ドックス）氏、Christian Holz（クリスチャン・ホルツ）氏らは、3つの解釈可能な機械システムからタスクを生成。これらのシステムを用いて、多様なシナリオ下でのLLMエージェントの挙動を再現し、制御された実験条件下で4つの異なるLLMエージェントを体系的に評価した。
評価結果は、LLMエージェントがドメインコンテキスト、すなわち対象領域の専門知識や背景情報から大幅な恩恵を受けることを明確に示した。これは、エージェントがタスクをより正確に理解し、適切な推論を行う上で、与えられた情報だけでなく、関連する知識が不可欠であることを示唆している。また、エージェントの探索戦略においては、視覚化されたデータよりも、主に数値コンソール出力を通じてデータを分析し、推論を進める傾向が確認された。
さらに興味深い発見として、各時系列サンプルを予測された根本原因ラベルにマッピングするPython script（パイソンスクリプト）の生成を要求された場合、エージェントが直接予測を提出する場合に比べて、パフォーマンスが一般的に低下することが判明した。これは、複雑な推論と同時に正確なコード生成を行うという複合的なタスクが、LLMエージェントにとって依然として課題であることを示している。
TraceBenchの研究チームは、これらの評価で用いられたデータセット、各エージェントの実行軌跡、詳細な実験結果、およびリーダーボードを一般に公開している。これにより、今後のLLMエージェント研究の進展に貢献し、時系列根本原因分析におけるLLMの信頼性と堅牢性の向上に向けた基盤が提供されると見られる。
参考: arXiv cs.LG — 2026年8月27日 23:29 (JST)