HoS (Heads of Security) は10月27日(現地時間)、新たなプロンプトインジェクション防御手法を発表しました。arXiv cs.LGで公開された論文で詳述されたこの手法は、学習済みのヘッドごとのアテンションゲートを通じて、大規模言語モデルにおける命令とデータの分離 (instruction-data separation) を強制します。これにより、モデルが悪意ある命令に従うことなく、信頼できないコンテンツに対しても堅牢な推論を実行できるようになります。
HoSの手法は、信頼済みトークンと信頼されていないトークンの間で、各ヘッドがアテンションをどのように再分配すべきかを学習することで機能します。このアプローチはLlama-3.3-70B-InstructおよびGPT-OSS-20B上で評価されました。
既存の防御手法であるファインチューニングベースのSecAlign++、および命令とデータの分離をモデルアーキテクチャに組み込むASIDEとの比較が行われました。HoSはアダプティブ攻撃に対してより高い堅牢性を示し、標準的なユーティリティベンチマークで優れた性能を達成しました。また、標準的なエージェンティックプロンプトインジェクションベンチマークにおいても最高性能に匹敵する結果を出しました。
具体的な攻撃評価では、ブラックボックス攻撃のRL-Hammerが、GPT-OSS-20Bに対して97%の攻撃成功率 (ASR) を、SecAlignに対して85%のASRを記録した一方、HoSに対しては10%に留まりました。さらに、ホワイトボックス攻撃であるClaudiniは、HoSに対してGPT-OSS-20BやSecAlignと同等のASRに達するために、3倍多くのFLOPsを必要としました。
HoSは、標準的な多肢選択ベンチマークとプロンプティング設定において、ベースモデルのユーティリティを維持します。対照的に、SecAlignとASIDEはフューショット設定で性能が低下することが確認されており、ASIDEはツール使用で10%のユーティリティしか達成できませんでした。これらの結果は、ターゲットを絞ったアテンション介入がプロンプトインジェクションの堅牢性を大きく改善できることを示唆しています。
参考: arXiv cs.LG (アーカイブ) — 2026年10月28日 02:58 (JST)
原文ハイライト"Learned Attention Gates Improve Prompt Injection Robustness"