Hao Liang (ハオ・リャン) 氏らは7月28日(現地時間)、エンタープライズエージェントが複数の知識ソースを統合する能力を評価する新たなベンチマーク「WorkSurface-Bench (ワークサーフェス・ベンチ)」を発表した。arXiv cs.CLで公開されたこのベンチマークは、文書、表、グラフといった異なる「サーフェス」からの情報選択能力を測定することを目的とし、1,151の個別タスクで構成されている。
エンタープライズエージェントは、記述的事実のための文書、計算のためのテーブル、ファイル関係のための依存関係グラフなど、異種の知識ソースを統合する必要がある。既存のベンチマークは通常、エージェントが適切な知識ソースを最初に選択するかどうかを区別せずに、情報検索やツール使用を評価してきた。WorkSurface-Bench (ワークサーフェス・ベンチ)は、この能力をサーフェスルーティングとして評価する。
ベンチマークのタスクは、パーソナスコープ型のWorkspace-Bench-Lite (ワークスペース・ベンチ・ライト)のワークスペースから派生しており、文書、テーブル、グラフ、およびこれらを横断する質問に及ぶ。参照解答は監査可能であり、テーブルの解答は実行されたDuckDB (ダックデービー)クエリを通じて再現され、文書の解答は検証済みテキストスパンに根拠を持ち、グラフの解答はソース依存関係アノテーションに追跡される。
Hao Liang (ハオ・リャン) 氏らは、4つのモデルバックボーンを6つの制御されたエージェント設定で評価し、27,624のプロトコルエラーのない軌跡を生成した。ゴールド制約ツールアクセス下では、エージェントは98.7-99.8%のRoute F1スコアを達成したが、Answerスコアは56.1-75.3%に留まった。これは、正しいサーフェス選択がタスク完了に必要であるものの、それだけでは不十分であることを示している。介入策では、サーフェスヒントが4つのモデル中3つでAnswerスコアを改善し、無関係なツールの削除は主にルーティングと効率性を改善した。独立した3人のアノテーターによる監査では、サンプリングされた200タスクすべてが過半数の票で6つの品質基準をクリアし、192タスクはすべての基準で満場一致の評価を得た。研究チームはデータセット、構築パイプライン、スコアリングコード、およびエージェントハーネスを公開している。
参考: arXiv cs.CL — 2026年7月28日 23:19 (JST)
原文ハイライト"Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing"