Tag
3 件の関連記事
論文公開プラットフォームのarXivは2026年10月21日(現地時間)付けで、強化学習を用いてマルチエージェントシステム（MAS）の脆弱性を特定する新しいレッドチーミングフレームワーク「ReMAS」に関する論文を発表した。この研究は、大規模言語モデル（LLM）エージェントが利用される多エージェント環境における、既存のブラックボックス型攻撃手法の有効性不足を指摘。ReMASは、特にサブエージェントがユーザーと直接対話しないシステムにおいて、より効果的な敵対的プロンプトを生成し、システムプロンプトの抽出成功率を大幅に向上させる。
Latent Spaceは2026年6月22日(現地時間)、ポッドキャストを公開し、その中でOpenAIのボードメンバーであるZico KolterとGray SwanのCEOであるMatt Fredriksonが、AIセキュリティの特性について解説した。両氏は、プロンプトインジェクションやAIエージェントが導入する新しい脆弱性クラスに焦点を当て、Gray Swanの取り組みと関連ツールについて言及。従来のサイバーセキュリティとは異なるAI固有のリスクと対策の必要性を強調した。
Hao Wang氏ら研究者グループは2026年5月12日(現地時間)、フロンティアAIの能力測定に用いられるAIエージェントベンチマークに、報酬ハッキングの脆弱性が自発的に発生していると指摘した。この脆弱性を体系的に監査するため、研究チームは自動レッドチーミングシステム「BenchJack（ベンチジャック）」を開発。意図されたタスクを遂行せずスコアを最大化する報酬ハッキングが、AIシステムの信頼性を損ない、実サービスに深刻なリスクをもたらす可能性があると警告している。