Appleは8月(現地時間)、機械学習研究ブログ「Apple ML Research」を通じて、外部ツールを利用するAIエージェント向けの評価シナリオを生成する新たな手法「Agent Seer (エージェントシアー)」を発表した。この技術は、ツールを構成し対話を通じて反復する実践者の行動を捉える現実的なテストシナリオの必要性に対応。手動でのシナリオ構築が抱える、専門知識の要求、拡張性の欠如、API追従の困難といった課題解決を目指す。
Agent Seerは、ツールの仕様、すなわち関数名、自然言語記述、型付きパラメータスキーマにエンコードされたセマンティック情報を活用し、手動でのキュレーションやライブツール実行なしに現実的な評価シナリオを合成します。このパイプラインは、Model Context Protocol (MCP) の単一仕様から、例示やライブツールアクセス、ドメイン固有のチューニングなしで構築されます。
Agent Seerのパイプラインは、生のスキーマを強化し、合成されたツール出力を含む段階的なシナリオを生成します。さらに、これらをモックデータに基づいた多ターン対話へと拡張し、強力なツール呼び出しの正確性と対話の首尾一貫性を示します。評価品質は、多様なドメインとツールスイートサイズにわたる7つのMCP仕様にパイプラインを適用し、ツール呼び出しの正確性と対話の首尾一貫性を測定することで検証されました。
この分析の結果、パイプラインは全てのドメインで高い品質を達成し、小規模および中規模の仕様においては完全なツールカバレッジを実現しました。また、2つの知見が明らかになりました。第一に、パラメータスキーマの複雑さが品質変動の最も強い相関関係を示し、ツールスイートサイズはより小さく直交的な役割を果たすこと。第二に、不完全なシナリオにおける主要な失敗モードが引数値の正確性であり、これは粗い粒度の名前一致メトリクスでは見えにくい側面です。
関連研究として、2026年5月4日に公開されたPORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoningや、2026年5月1日にACL 2026のワークショップで採択されたReinforced Agent: Inference-Time Feedback for Tool-Calling Agentsにも言及があります。
参考: Apple ML Research (アーカイブ) — 2026年8月28日 09:00 (JST)