セキュリティエージェント評価、コスト考慮で実用性検証：ML実務者への示唆
ポール・カシアニック氏、ブレイン・ネルソン氏、ヤロン・シンガー氏らは7月16日(現地時間)、セキュリティエージェントの評価手法に関する研究論文を発表した。従来の成功率に加えコスト効率を考慮する新たな評価アプローチを提唱し、言語モデルベースのエージェントをCybenchとSplunk BOTS v1の課題で評価、費用対効果を分析した。研究結果は、タスクに応じた性能特性の違いを指摘し、経済的効率性や運用的適合性を重視したベンチマークの必要性を示唆している。この研究は、ML実務者がセキュリティエージェントを選定・導入する際の新たな評価軸を提示する。