新たなベンチマーク「FDE-ジム (FDE-Gym)」は2026年10月15日(現地時間)、実世界の顧客へのAIシステム導入における課題を評価するために発表された。これは、既存のAIエージェント評価が明確に定義されたタスクに限定される現状に対し、95のエンドツーエンドの導入タスク、20の顧客シナリオ、18のセクターを網羅する。不明示の制約の発見など、実世界のフォワードデプロイドエンジニア (FDEs) の業務を模擬するこの評価で、最良のモデル構成でも平均FDE-ジムスコアは0.56に留まった。
FDE-ジム (FDE-Gym) は、業界専門家が実世界の導入プロジェクトから適応させたもので、模擬顧客環境でスクリプト化された利害関係者と変更可能な顧客システムを用いる。エージェントは利害関係者と対話し、本番環境に類似したシステム上で動作し、機能するソリューションを提供する。
FDE-ジムのスコアリングは、顧客自身の成功指標の改善度を0（システム変更なし）から1（参照ソリューション）で正規化し、利害関係者とのやり取り（メッセージ、試行実行、待機時間）に対してペナルティを課す。また、人間がFDEスキルを練習できるオンラインプラットフォームも提供される。
Dongxu Yang氏らが発表した本研究では、7つのプロバイダーから13のモデル構成を評価した。不明示の制約を発見する必要がある現実的な設定において、最良の構成は平均FDE-ジムスコア0.56を達成し、95のタスク中わずか14タスク（スコア0.8以上かつインシデントなし）しか解決できなかった。不明示の制約の発見が主要なボトルネックであり、明確なガイダンスなしでそれらを発見する必要がある場合、モデルのパフォーマンスは急激に低下することが判明した。
情報発見だけがギャップの原因ではない。最良の構成が利害関係者からすべての重要な事実を得た23のタスクにおいても、正規化されたビジネス改善で0.8以上を達成したのは10タスクのみであった。これらの結果は、明確に定義されたタスクの解決と、実際の顧客向けに効果的なAIシステムを導入することとの間に、実質的なギャップが存在することを示している。
参考: arXiv cs.AI (アーカイブ) — 2026年10月16日 02:57 (JST)
原文ハイライト"FDE-Gym: The Last Mile of AI Delivery"