arXivは10月8日(現地時間)、大規模言語モデル (LLMs) に対する新しいバックドア攻撃手法「Cancerous Backdoor Attack」に関する論文を公開した。従来の攻撃が特定のトリガーで単一の悪意ある挙動を直接引き起こすのに対し、この新手法は複数の段階を経てLLMの推論を徐々に腐敗させる点を特徴とする。ユーザーの要求に表示されない「不可視トークン (invisible tokens)」と、推論中に攻撃の進行を追跡する「ステージコントローラー (stage controller)」を活用し、段階的な活性化を実現することで、従来の検出方法では見過ごされやすい新たな脅威となる可能性が指摘されている。
大規模言語モデル (LLMs) の普及に伴い、その安全性と信頼性の確保が喫緊の課題となっている。特に、モデルの訓練データや推論プロセスに悪意のある挙動を埋め込むバックドア攻撃は、深刻なセキュリティリスクを引き起こす可能性がある。
従来のバックドア攻撃は、特定のトリガーワードやパターンが入力された際に、モデルが定義済みの単一の最終行動を直接実行するよう仕向けられていた。例えば、特定のキーワードが含まれる質問に対して、モデルが不適切な回答を生成するといった形態である。これにより、攻撃の活性化パターンと結果が比較的明確であり、検出が容易であるという課題があった。
今回発表されたCancerous Backdoor Attackは、この従来の限界を超える新たなアプローチを提案している。本攻撃は、悪意ある行動が直接発動するのではなく、モデルの内部状態が複数の「中間段階」を経て徐々に変質し、最終的な活性化段階に至るまで推論能力が「腐敗」していくという点が特徴だ。これは、あたかも悪性の細胞が段階的に増殖・進行するように、モデルの振る舞いを巧妙に制御する手法である。
攻撃の核心をなすのは、主に二つのコンポーネントである。
一つ目は不可視トークン (invisible tokens)だ。これらはユーザーがモデルに入力する可視的なプロンプトには決して現れないが、モデルの内部状態に影響を与え、隠れた指示を伝える役割を担う。不可視トークンは、攻撃の異なる段階を符号化し、モデルの推論プロセスを段階的に誘導するために用いられる。
二つ目はステージコントローラー (stage controller)である。これは、モデルが推論を実行している間に、不可視トークンからの入力を解釈し、現在の攻撃がどの進行段階にあるべきかを動的に追跡するメカニズムだ。ステージコントローラーは、モデルの内部状態に基づいて攻撃のフェーズを決定し、次の段階への移行を促す。この連携により、攻撃は計画された順序で段階的に進行し、予測可能な最終行動へと至る。
本論文では、Cancerous Backdoor Attackを複数の推論データセットと多様なLLMに対して評価した結果を示している。検証の結果、この攻撃がモデルの種類やタスクの種類に関わらず、一貫して段階的な推論の腐敗を引き起こすことが確認された。さらに、先行するバックドア攻撃のベースラインと比較しても、提案された攻撃手法がそれらを上回る有効性を持つことが実証された。
この研究結果は、悪意ある推論の腐敗が可視化されるような最終的な影響が現れる前に、モデルの内部で段階的に進行する可能性を示唆している。これにより、単なる最終的な回答精度や出力内容の異常性のみに注目する従来のバックドア攻撃検出手法では、このような巧妙な攻撃を見逃してしまうリスクが高いと結論付けている。本研究は、将来的なLLMのセキュリティ対策において、より深いレベルでのモデル内部状態の監視と分析が必要となることを示唆している。
参考: arXiv cs.CR (アーカイブ) — 2026年10月12日 13:00 (JST)