arXiv cs.CLは2026年11月18日(現地時間)、Yan Qiu氏とYuanYuan Li氏らが、大規模言語モデル (LLM) の脱獄試行や有害なプロンプトを検出する新手法「Jailbreak Detection with Prototype Inference (JDPI)」を提案したと発表した。JDPIは、事前学習済みモデルを特定のドメインに合わせるエンコーダの適応、少数の二値安全性ラベルのみでプロトタイプを構築する仕組み、そしてプロトタイプ間の相対距離に基づいて予測を行う検証という三段階のプロセスを通じて、追加の訓練可能なダウンストリーム分類器なしで安全性検出を可能にする。
大規模言語モデル(LLM)の安全性を確保する上で、脱獄試行や悪意のあるプロンプトの検出は重要な課題となっている。既存の分類器ベースの検出手法は、追加の訓練可能な分類器や大量のラベル付きデータに依存することが多く、その汎用性や効率性に課題が指摘されている。JDPIは、この課題に対し、対比的に学習された表現を活用し、エンコーダの適応、プロトタイプの構築、および検証という3つの主要フェーズを通じて安全性検出を実現する。
具体的には、JDPIはまず、安全性検出のための埋め込み表現を生成するエンコーダを、対比学習によって特定のドメインに適応させる。次に、少数の二値安全性ラベルのみを使用して、安全なプロンプトと脱獄プロンプトに対応するプロトタイプを構築する。このプロトタイプは、各クラスの代表的な特徴を捉える役割を果たす。最後に、新たな入力プロンプトが与えられた際、その埋め込み表現と既存のプロトタイプとの相対距離を測定し、距離に基づいて安全性を予測する。これにより、別途ダウンストリーム分類器の訓練に使用される分離された分割を回避し、より少ないラベル付きサンプルで運用可能となる。
研究チームは、異なる入力形式をカバーする4つのベンチマークを用いてJDPIの性能を評価した。対比ファインチューニングは、JDPIの検出精度を9.1パーセンテージポイントから18.0パーセンテージポイント改善することが示された。同一のエンコーダを使用した場合、JDPIは1つのベンチマークでわずかに高いROC-AUCを達成し、他の4つのベンチマーク全てで既存の分類器ベースラインの0.017以内に収まる高精度を示した。さらに、データセット固有の適応を行ったJDPIは、公開されているLlama Guard 3-8Bベースラインを4つのベンチマーク全てでROC-AUCにおいて0.173から0.310上回る結果を示し、その優位性を証明した。
マルチターン会話のリプレイ実験では、TomGibbsベンチマークにおいて、JDPIは会話の進行に合わせて蓄積されたユーザー履歴を利用することで、現在のターンのみを使用した場合よりも高い会話レベルの精度を達成した。これは、文脈情報を活用することでより頑健な検出が可能となることを示唆している。さらに、12の転送を対象とした広範な実験において、JDPIは既存の分類器ベースラインと比較して平均1.59パーセンテージポイント高い精度を記録し、クロスデータセットにおけるより強力な頑健性と汎用性を示した。
参考: arXiv cs.CL (アーカイブ) — 2026年11月19日 03:56 (JST)
原文ハイライト"Jailbreak Detection on Large Language Models via Contrastive Prototype Structures"