arXiv cs.AIは10月9日(現地時間)、AIエージェントが外部ツールに依存する際の信頼性を大幅に高める、新しい検索フレームワーク「RATED」を提案する論文を公開した。既存手法が意味的関連性のみを重視し、実行中のツール可用性を軽視していた課題に対し、RATEDは堅牢な意味的マッチングと動的な信頼性適応を組み合わせることで、実行時のツール障害にも迅速に対応できる安定した動作を可能にする。
RATED（Reliability-Aware Tool Retrieval via Execution Dynamics）は、AIエージェントが外部ツールを安定して利用するために、その正確な検索を可能にすることを目指して開発された。従来のツール検索は、ツールの機能とユーザーの意図との意味的な合致を優先する傾向があったが、実際の運用ではツールの可用性や実行時のエラーが考慮されていなかった。RATEDはこの課題に対処し、ツール実行時のダイナミクスを考慮することで、より信頼性の高い選択を可能にする。
フレームワークは大きく二つの主要コンポーネントで構成される。一つは、高性能な意味的マッチングを実現するフローズンデュアルエンコーダで、これは対照学習によるファインチューニングを通じて、ツールの機能記述とクエリ間の関連性を高精度で捉える。このエンコーダは、一度学習されると「フローズン（固定）」され、高頻度な再学習が不要となるため、運用コストを抑えることができる。
もう一つは、実行フィードバックに基づいて候補ツールをリアルタイムで再ランク付けする軽量なコンテキストバンディットモジュールである。このモジュールは、ツールの実行履歴や現在のシステムの状態から得られる信頼性情報を活用し、意味的には適切でも実行時に障害が発生しやすいツールを動的に降格させ、信頼性の高いツールを選択するように調整する。この動的な適応能力が、高コストなモデルの再学習なしに、実行時のツール障害に対する迅速な対応を可能にしている。
研究チームは、RATEDの有効性を包括的に評価するために、新たなベンチマーク「EcoAgent」を構築した。このベンチマークは、5,172に及ぶ実世界ツールと、210,000以上のクエリ・ツールペアで構成されており、多様なユースケースとツール実行シナリオを網羅している。EcoAgentは、オフラインでのツール検索性能の評価だけでなく、動的な信頼性評価、つまりツールの実行時における可用性やエラー率の変化にフレームワークがいかに対応できるかを測定することを目的としている。これにより、実運用環境に近い条件下でのRATEDの性能を検証することが可能となった。
実験結果では、RATEDが実世界クエリにおいて既存のToolLLM API retrieverと比較して相対MRR（Mean Reciprocal Rank）を52.2%向上させたことが示された。特に、30%の障害率という厳しいAPI停止シナリオ下では、誤選択率を従来の86.2%からわずか2.9%にまで削減しており、大幅な改善を達成した。遅延オーバーヘッドはエンコードのみの推論と比較して1ミリ秒未満と、無視できるレベルに抑えられており、実用性も高い。RATEDのコードとデータセットは既に公開されており、本研究は著名なデータマイニングに関する国際会議CIKM 2026で受理されている。
参考: arXiv cs.AI (アーカイブ) — 2026年10月10日 02:38 (JST)
原文ハイライト"RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics"