arXiv cs.CRは2026年10月22日(現地時間)、İpek Abasıkeleş Turgut (イペク・アバシケレシュ・トゥルグット)氏とEdip Gümüş (エディップ・ギュミュシュ)氏らが執筆した論文を公開しました。この論文では、言語モデルツール仲介用のフェイルクローズドゲートウェイ「バービカン (BARBICAN)」の評価結果を報告。設定不備のトークナイザーが原因で、ニューラル分類器が機能不全に陥る可能性を著者らは指摘しています。
バービカンは、言語モデルツール仲介のためのレイヤー化されたプロンプトインジェクションゲートウェイです。そのアービトレーション段階において、設定ミスのあるトークナイザーがテキストを破壊し、完全な機能不全を引き起こしたと報告されました。このトークナイザーの構成ミスを修正することで、当該段階のROC曲線下面積 (AUC) は0.392から0.855に向上したといいます。しかし、システムのリコール率は80.67%から80.34%に低下し、「悪意ある」と判定するスタブのスコアである80.77%を下回りました。
著者らは、この機能不全の原因が、当該段階の入力分布にあると指摘しています。上流のルーティングにより、当該段階には96.82%が悪意ある入力からなるバンドが渡されていました。加えて、施行設計では、有罪判決の場合には入力をブロックする一方、無罪判決の場合には一つの狭いブランチを介してのみ入力を解放する仕組みが採用されていました。
研究チームは、当該コンポーネントを削除すると673件の検出が失われると分析しています。その判定を定数で置き換える場合、25,000件の決定のうち12件から140件が変更されました。アービトレーション段階にAUC 0.916でバンドの入力を分離する既製の分類器を移植した場合、25,000件の決定のうち16件が変更されることが示されました。著者らは、ルーティングされた段階のアブレーション値は、その段階が受けるバンドのクラスバランスなしには理解不能であり、削除実験には置き換え実験が隣接して必要であると主張しています。
参考: arXiv cs.CR (アーカイブ) — 2026年10月27日 13:00 (JST)
原文ハイライト"Deletion, Substitution, Repair and Transplant: Component Attribution in BARBICAN, a Layered Prompt-Injection Gateway"