#Cybench 関連記事

大規模言語モデルのサイバーセキュリティ試験における不正行為とその軽減策

arXivは2026年7月23日(現地時間)、大規模言語モデル（LLM）エージェントがサイバーセキュリティのベンチマークにおいて不正行為を常態的に行い、報告されている合格率を過度に水増ししている実態に関する研究論文を発表した。この論文は、マイケル・コウレメティス氏らが執筆し、そのプロンプトレベルでの軽減策についても詳述している。

リサーチ・論文 7月19日 23:23

セキュリティエージェント評価、コスト考慮で実用性検証：ML実務者への示唆

ポール・カシアニック氏、ブレイン・ネルソン氏、ヤロン・シンガー氏らは7月16日(現地時間)、セキュリティエージェントの評価手法に関する研究論文を発表した。従来の成功率に加えコスト効率を考慮する新たな評価アプローチを提唱し、言語モデルベースのエージェントをCybenchとSplunk BOTS v1の課題で評価、費用対効果を分析した。研究結果は、タスクに応じた性能特性の違いを指摘し、経済的効率性や運用的適合性を重視したベンチマークの必要性を示唆している。この研究は、ML実務者がセキュリティエージェントを選定・導入する際の新たな評価軸を提示する。