シンセコーポ (SynthCorp) は11月13日(現地時間)、データエージェント向けベンチマークを生成するプラットフォームに関する論文をarXiv cs.AIで公開しました。SynthCorpはビジネスイベントをシミュレートすることで、カスタマイズ可能なデータエステートとベンチマークを作成します。このプラットフォームは、大規模言語モデル (LLM) を利用するデータエージェントの評価に貢献すると期待されています。
SynthCorpは、企業データが時間経過と共に生成・変更される過程をシミュレートし、データエステートとベンチマークを構築します。各データエステートは、リレーショナルデータベース、ドキュメントストア、データカタログを組み合わせ、評価タスクと実行可能なゴールドプログラムを伴います。
同プラットフォームは、指定されたシナリオと複雑性に基づいて再利用可能なイベントタイプを合成し、それぞれを事前定義されたシミュレーションプリミティブに対するプログラムにコンパイルします。次に、仮想カレンダー上でイベントインスタンスをスケジュールし、定期的イベントと中断イベントを交互に配置することで、テーブル、ドキュメント、カタログエントリの一貫性を保ちます。その後、カレンダーを実行してデータエステートを具現化し、全ての操作をシミュレーションログに記録します。最後に、分析タスクを生成し、ログから検証済みのゴールドプログラムを導出します。
論文では、SynthCorpを用いて初期評価ベンチマークが生成されたことを報告しています。これには、最大1,000の運用テーブルを含む7つのデータエステートと、5つのドメインにわたる256のタスクが含まれます。これらのデータエステートは、外部キー違反や未宣言の書き込みといった決定論的パイプラインチェックをほぼゼロのエラー率で通過し、クロスアセットの複雑性を導入し、要求された全てのディメンションをカバーしています。ジアニ・チャン氏ら8名の著者により執筆されました。
参考: arXiv cs.AI (アーカイブ) — 2026年11月14日 14:00 (JST)
原文ハイライト"SynthCorp: A Platform for Creating Benchmarks for Data Agents"