Taikun Chen、Yue Zhang、Wei Qian、Hui Fang らの研究チームは11月5日(現地時間)、大規模言語モデル（LLM）の脆弱性を特定する強化学習に基づくブラックボックス型敵対的攻撃フレームワーク「RL-ATTACK」に関する論文をarXiv cs.CLで発表した。本フレームワークは、勾配情報にアクセスできないブラックボックス設定下で標的モデルから学習し、個別化された敵対的変換を生成する。同論文はIEEE EdgeCom 2026に採択された。
大規模言語モデル（LLM）は、意図しない応答を引き起こす可能性のある敵対的摂動（adversarial perturbations）に対して脆弱性を示すことが知られています。これらの脆弱性は、システムの安全性と信頼性を確保するために、意図的な攻撃を通じて特定され、その知見はモデルの安全性向上に利用できるとされています。
既存のブラックボックス設定における敵対的攻撃手法は、多くの場合、外部知識や事前定義されたルールに基づいて敵対的変換を推測する傾向がありました。これにより、標的モデルから直接提供される貴重な情報を十分に活用できないという課題が指摘されていました。これに対し、今回提案された「RL-ATTACK」は、強化学習を基盤とし、標的モデルから直接フィードバックを得ながら学習を進めます。このアプローチにより、特定のモデルに合わせて最適化された、個別化された敵対的変換を生成することが可能になります。
研究チームは、RL-ATTACKの有効性を検証するため、自然言語推論（natural language inference）および生成型Q&A（generative Q&A tasks）の両タスクで実験を行いました。その結果、RL-ATTACKは、既存手法と比較して、より低い攻撃後の精度、高いクエリ効率、そしてより良い意味保存を達成したことが実証されました。
具体的には、自然言語推論タスクでは、わずか20クエリ以内に攻撃後の精度を2%まで低下させることに成功しています。生成言語モデルに対する評価では、訓練済みのアタッカーが訓練されていないアタッカーよりも一貫して低い攻撃後精度を示し、さらに強力な最適化ベースのベースラインと比較しても、検証された6つの設定中4つで優位に立つ結果となりました。また、複数の報酬設計と訓練設定を検証しましたが、一貫して優位な設計や設定は確認されませんでした。RL-ATTACKのコードはGitHubで公開されており、研究コミュニティが手法の再現やさらなる発展に活用できるようになっています。
参考: arXiv cs.CL (アーカイブ) — 2026年11月9日 14:00 (JST)