論文公開媒体arXiv cs.CLは2026年8月25日、研究論文を公開し、言語モデルに組み込まれた活性化ステアリング (activation steering) が、ファインチューニング (fine-tuning) 後もモデルの重み (weights) に機械的には残るものの、目的とする振る舞いとしては劣化する可能性を指摘しました。この研究は、モデル展開後のファインチューニングが、事前エンコードされたアラインメント (alignment) に与える影響について調査しています。
研究は、言語モデル (language model) の振る舞いを推論時の介入なしに形成し、リリース前にアラインメントをエンコードできる活性化ステアリングの安定性を分析しました。
研究チームは、拒否抑制 (refusal suppression) と簡潔性誘導 (brevity induction) について、3Bから14Bの範囲の5つの指示チューニングモデル (instruction-tuned models) を対象に、非敵対的な教師ありファインチューニング (Supervised Fine-Tuning, SFT) および人間からのフィードバックによる強化学習 (Reinforcement Learning from Human Feedback, RLHF) の条件下で調査を実施しました。
振る舞いの観点からは、最適化圧力がターゲットとする振る舞いと矛盾する場合にステアリングが劣化し、そうでない場合は維持されることが示されました。特に、SFTの条件下では、拒否の除去 (refusal ablation) 効果が平均64%失われたと報告されています。
メカニズムの観点では、振る舞いが元に戻った場合でも、重み編集 (weight edit) はほぼ手つかずのまま残存していることが判明しました。平均ベクトル回復はρ = 0.004であり、ステアリング方向におけるファインチューニング更新は、編集前の重みパターンに対してほぼ直交（平均cosθ = 0.074）していました。この結果は、ステアリングされた振る舞いが劣化しても、ファインチューニングがステアリングメカニズム自体を分解または逆転させることでそれを達成しているわけではないことを示唆しています。
したがって、埋め込まれたステアリングはメカニズム的には耐久性があるものの、機能的には脆弱であり、ダウンストリームトレーニング (downstream training) 後には振る舞いの再検証が必要となると結論付けられています。この論文はEMNLP 2026 Mainで採択されており、以前のバージョンはICLR 2026 Re^4-Align Workshopで発表されていました。
参考: arXiv cs.CL (アーカイブ) — 2026年8月27日 13:00 (JST)