Sachin Gupta (サチン・グプタ) 氏は2026年10月22日(現地時間)、大規模言語モデル (LLM) を用いたITサポートチケットの分類において、コスト考慮型棄却戦略の有効性に関する研究論文をarXiv cs.LGで発表した。誤った自動ルーティングが人的トリアージよりも高コストとなる課題に対し、同研究はコストモデルを明示的に考慮した棄却評価フレームワークを提案。特定の条件下で、テストコストを大幅に削減し、誤ったルーティングの発生率を低減できる可能性を示している。
本研究は、オフラインでのコスト条件付き準備評価として、コスト考慮型棄却の適用を評価した。キャリブレーションデータに対して明示的なコストの下でルーティングポリシーを選択し、その固定されたポリシーを保持されたテストデータで評価する手法である。
公開されている47,837件のチケットと8クラスのコーパスを使用し、4つの訓練済み非大規模言語モデル分類器と4つの大規模言語モデルをゼロショットおよびフューショットプロンプティングで比較した。例示的なコストモデル(c_ok, c_triage, c_wrong) = (0, 1, 5)の下で、TF-IDF (Term Frequency-Inverse Document Frequency) とロジスティック回帰にキャリブレーションで選択された閾値0.60を適用した結果、テストコストが0.763から0.472へと38.1%の相対的削減を達成した。同時に、誤ったルーティングは15.3%から3.5%に低下した。
キャリブレーションで選択された固定ポリシーは、事後的なコストパラメータ分析において、常にルーティングまたは常に遅延させる戦略よりも、保持されたテストデータで16設定中14設定で優れた性能を示した。最も強力なプロンプト設定は、層別化された1,000チケットのテストサブセットで0.477の精度を記録した。これに対し、同じチケットでファインチューンされたDistilBERTは0.879の精度であった。アイソトニック (Isotonic) は期待キャリブレーションエラー (ECE) を低下させるものの、識別能力の信頼できる改善には繋がらなかった。GPT-4o-mini few-shotは、再キャリブレーション前後で単一の信頼度値を示し、正解AUROC (Area Under the Receiver Operating Characteristic curve) は0.500であった。
解析的に導出された損益分岐確率0.80では、7つのプロンプト設定が全てのチケットを遅延させた。Haiku few-shotは1,000件中19件のみをルーティングした。この研究結果は、使用されたデータセット、プロンプト設計、モデルエンドポイント、および例示的なコストに限定されるものであり、新しい棄却アルゴリズムや普遍的な導入認証ではなく、評価フレームワークとして位置づけられている。本論文は、第38回IEEE International Conference on Tools with Artificial Intelligence (ICTAI 2026) で採択された。
参考: arXiv cs.LG (アーカイブ) — 2026年10月23日 02:58 (JST)
原文ハイライト"Wrong automatic routing of an IT support ticket can cost more than human triage."