#CKA

システムプロンプト、安全指示の計算経路への浸透は10%未満と研究で判明

arXiv cs.CLは9月23日(現地時間)、Muhammad Usama氏とDong Eui Chang氏による論文を公開した。言語モデルの内部計算にシステムプロンプトが与える影響を分析した結果、ペルソナやフォーマットに関する指示は中間表現を深く再構築する一方、安全性に関する指示は計算経路にほとんど変化を与えず、最小限のベースラインと統計的に区別できない効果にとどまることが判明した。