arXiv cs.CLは11月9日(現地時間)、大規模言語モデル（LLM）エージェントを基盤とするマルチエージェントシステムのワークフロー編成能力を評価する新ベンチマーク「WorkflowArena」（ワークフローアリーナ）を発表した。本ベンチマークは、ソフトウェア開発、法律分析、3Dプロダクションなど8つの専門分野にわたる145タスクで構成される。モデルがワーカーエージェントをインスタンス化し、実行可能なワークフローを生成する能力を測定する。
大規模言語モデル（LLM）は、単一のコンテキストで動作するスタンドアロンモデルとしてではなく、マルチエージェントシステムとして展開される機会が増加している。最近のエージェントハーネスは、モデルがワーカーエージェントをインスタンス化し、それらを調整する実行可能なワークフローを作成することを可能にしており、システム構造の設計は開発者から実行時のモデルへと移行する傾向にある。
既存のベンチマークは、タスクのend-to-end（エンドツーエンド）完了を測定するか、あるいは事前に指定された構造の下での調整を評価するものであった。これに対し、WorkflowArena（ワークフローアリーナ）は、ワークフロー編成（workflow orchestration）としてこの能力を形式化し、新たな評価基準を提供する。各タスクでは、初期ワークスペースと、相互に依存するコンポーネントで構成される統合された成果物が指定され、隠れた検証者によって評価が行われる。
エージェントはデリゲート（委任）の要否とその方法を自律的に決定し、すべてのデリゲートが記録される。これにより、成果物の品質と、その成果物を生み出す基礎となる作業の編成が総合的に評価される仕組みだ。
9つのモデルを用いた実験では、単一の構成がすべてのドメインで最適に機能するわけではないことが示された。システムはそれぞれ異なるデリゲート戦略を示す。例えば、高い労力を要するタスクでは、Claude CodeのClaudeモデルはワークフローを呼び出す頻度は低いものの、より大きなワーカーグループを使用する傾向がある。一方、CodexのGPTモデルは、より小さな単位で頻繁にデリゲートを行う。
実行モデルをタスクの困難なサブセットに固定した場合、Claude Opus 5.5によって作成されたワークフローは、弱い実行者のパフォーマンスを大幅に向上させることが判明した。この結果は、ワークフロー編成自体がタスクパフォーマンスの測定可能な決定要因であることを強く示唆している。
参考: arXiv cs.CL (アーカイブ) — 2026年11月10日 03:45 (JST)
原文ハイライト"Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems"