IBM Researchは2026年10月20日(現地時間)、学習済み記憶を利用する手法「ALTK-Evolve」により、大規模言語モデル「GPT-4.1」を用いた顧客サービスエージェントが「τ²-bench」ベンチマークのリーダーボードで小売部門の首位を獲得したと発表しました。モデルの重み更新なしに、GPT-4.1を基盤とするReActエージェントがτ²-bench小売タスクにおいて67.5%のPass^4を記録し、既存のエントリーを上回りました。
ALTK-Evolveは、GPT-4.1を使用してプレイブックを学習し適用するものです。これは、エージェントのトレーニングタスクにおける試行を分析し、成功と失敗を短い行動ルールに蒸留することでガイドラインを構築します。これらのガイドラインは、その後の会話においてエージェントのシステムプロンプトに追加されます。
「τ²-bench」は、Sierraが提供する顧客サービス会話のエージェント性能を測定するベンチマークです。このベンチマークは、エージェントがポリシーに従い、顧客の要求を理解し、適切なツールアクションを実行する能力を評価します。ALTK-Evolveは、従来の作業でコーディングエージェントにおいて実証されたこのアプローチを、顧客サービス分野に適用しています。
テストは小売（Retail）と航空（Airline）の二つの顧客サービスドメインで実施されました。GPT-4.1をエージェントモデルに、GPT-5.5を顧客シミュレーターモデルに用い、各タスクを4回試行しています。ガイドラインをシステムプロンプトに追記したのみで、ポリシーやツールはτ²-benchの既存設定を使用しました。結果、小売ドメインではベースラインの57.5%から67.5%へ、航空ドメインでは35.0%から45.0%へPass^4が向上しました。この性能向上は会話長の増加には繋がらず、プロンプト入力トークンの増加に起因するとされています。
参考: Hugging Face Blog — 2026年10月21日 00:19 (JST)
原文ハイライト"ALTK-Evolve learns and applies a playbook using GPT-4.1, outperforming the retail entries on τ²-bench"