#SFT

BPEトークン化がLLM安全性に隙間、回避策の課題浮き彫り

arXivは5月1日(現地時間)、大規模言語モデル（LLMs）の安全性アライメントにおける新たな脆弱性を指摘する論文を発表した。この研究は、BPEトークン化（Byte-Pair Encoding tokenization）が安全上重要な単語をサブワードに分割することで、文字レベルの摂動がLLMsの安全機能を回避するメカニズムを特定。その回避策の現状と課題について詳細な分析結果を報告している。