arXiv cs.LGは8月27日(現地時間)、大規模言語モデル（LLM）の安全評価を目的とした新たなホワイトボックスファジングフレームワーク「NeuronFuzz」を発表した。既存の自動テスト手法がレスポンスレベルのフィードバックに依存し、コストやガイダンス不足が課題となる中、NeuronFuzzは内部のセーフティニューロン（safety neuron）を継続的な実行フィードバックとして活用する。これにより、LLMのジェイルブレイク攻撃に対する堅牢性を効率的に評価する。
NeuronFuzz（ニューロンファズ）は、大規模言語モデル（LLM）の整合性がジェイルブレイク攻撃に対し、どの程度堅牢であるかを評価する上で不可欠な安全評価手法を大幅に改善する。従来の自動テスト手法は、候補プロンプトごとにターゲットモデルのレスポンス生成を必要とし、費用がかさむ上、特に整合性の高いモデルにおいてはその効果を評価することが困難であった。
この新しいフレームワークは「SafetyOracle」と名付けられたコンポーネントを用いて、セーフティニューロン（safety neuron）の活性化を継続的なセーフティアラームスコアに変換する。このスコアは、ファジング（fuzzing）プロセスのフィードバックとして機能し、プレフィル（prefill）段階で取得できるため、ファジンググループからレスポンス生成プロセスを排除することが可能になる。SafetyOracleを構築するため、NeuronFuzzはテンプレートに依存しない有害な入力と無害な入力を利用し、安定性を考慮した選択により、有害な意図の認識を捉えるコンパクトなセーフティニューロンのセットを特定する仕組みだ。
さらに、セーフティアラームスコアが微分可能であるという特性を活かし、NeuronFuzzはその勾配を利用してセーフティセンシティブなテンプレート位置を識別する。その後、マスクド言語モデル（masked language model）を適用することで、元の有害なペイロードを保持しつつ、流暢で文脈に適合した変異を生成し、追加の最適化変数を回避する。
NeuronFuzzは、21のテキストおよびマルチモーダルモデルで広範な評価を実施した。その結果、5つのホワイトボックスソースモデルにおいて、76%から100%という高いジェイルブレイク発見率を達成し、ベースライン手法を最大48パーセンテージポイント上回る性能を示した。また、この最適化されたテンプレートは、ゼロショットでオープンウェイトモデルや6つのプロプライエタリターゲットモデルに転移させることが可能であり、平均攻撃成功率（ASR）およびトップ5アンサンブルASR（EASR）はそれぞれ69.6%/92.6%と44.1%/60.0%を記録している。これは、NeuronFuzzが単一のモデルに限定されず、幅広いLLMに対して有効な安全評価ツールであることを裏付けるものだ。
参考: arXiv cs.LG (アーカイブ) — 2026年8月28日 13:00 (JST)