Xu Zhang氏らの研究チームは、2026年9月8日(現地時間)、マルチモーダル大規模言語モデル（MLLM）におけるインコンテキスト学習（ICL）ジェイルブレイクの脆弱性を解明し、これを軽減する新しいフレームワーク「posterior reweighting framework」を提案した。この研究は、ICLジェイルブレイクが安定して成功する根本原理と、その効果がコンテキスト構成によってどのように変化するかについて、これまで不足していた体系的な理解を提供する。さらに、この知見に基づいた推論時防御手法も導入している。
マルチモーダル大規模言語モデル（MLLM）におけるインコンテキスト学習（ICL）ジェイルブレイクは、プロンプト内の有害なデモンストレーションがモデルパラメータを変更することなく安全でない出力を引き起こす、深刻なセキュリティ上の懸念として広く認識されている。これまでの研究では多くの経験的証拠が蓄積されてきたものの、なぜこのようなジェイルブレイクが安定して成功するのか、またその有効性がコンテキストの構成によってどのように変化するのかについての原理的な理解は不足していた。
今回提案されたposterior reweighting frameworkは、安全にアラインメントされたMLLMが、内部的に競合する複数の振る舞いモードで動作しているとモデル化する。さらに、インコンテキストデモンストレーションを、モデルが安全な振る舞いと有害な振る舞いの間で示す事後選好を動的にシフトさせる、推論時における証拠として解釈する。この視点により、ジェイルブレイク攻撃は、推論時にモデルが有害な方向に傾倒する「証拠蓄積のプロセス」として形式的に捉え直される。これにより、デモンストレーションの数、有害なサンプルの割合、敵対的強度のレベル、およびプロンプトの意味的多様性といった要因が、ジェイルブレイクの成功率にどのように影響するかについて、予測可能なスケーリング法則が導き出された。
このフレームワークに基づき、研究チームはposterior-aware inference-time defenseという推論時防御手法を導入した。この手法は、モデルが有害な方向にドリフトする推定リスクに基づいて良性の対抗証拠を適応的に注入することで、有害な事後ドリフトを効果的に抑制しつつ、モデルの有用性を維持する設計となっている。既存のインコンテキスト防御手法と比較すると、固定された介入予算のもとでロバストネス（堅牢性）とモデル有用性のトレードオフが大幅に改善されたことが示された。これらの研究成果は、posterior reweightingがMLLMにおけるICLジェイルブレイクを理解し、その影響を軽減するための、統一的かつ予測的なフレームワークとして機能する可能性を示唆している。
参考: arXiv cs.CR (アーカイブ) — 2026年9月11日 13:00 (JST)