学術論文リポジトリarXiv cs.CRは9月16日(現地時間)付けで公開された論文にて、大規模言語モデルの安全性アライメントを強化する新アプローチ「AUDITPLAN」を提案した。この手法は、モデルがコンパクトな構造化された安全計画を生成し、その計画に基づいて回答することで、回答のみを評価する従来の安全性チューニングパイプラインが抱える課題の解決を目指す。
AUDITPLANは、無害なリクエストに対する不適切な拒否や、実態のない表面的な安全性理由といった不適切な「近道」を区別しにくくする既存の問題に対処する。この単一モデルアプローチでは、脅威ラベル、意図された行動、明示的な制約を記録した安全計画がモデルによって内部的に生成される。この計画は、デプロイ時にユーザーからは見えないが、機械による監査を可能にする仕組みだ。
研究チームは、この振る舞いを教師ありファインチューニングと強化学習を組み合わせて訓練した。特に、「FAITHGATE」と呼ばれる報酬ゲーティング目的を採用しており、安全計画が正しくない場合には回答に対する報酬を与えない設計となっている。これにより、安全に見えても実態を伴わない振る舞いを抑制し、計画と回答の間の結びつきを強化する狙いがある。
Qwenバックボーンを用いた実験において、AUDITPLANは堅牢性と監査可能性の両方を改善する結果を示した。具体的には、Qwen2.5-3B-Instructモデルでは、FAITHGATEの導入によって、ASRが24.0%から11.6%へ、LSRが1.0%から0.36%へ、過剰拒否が11.0%から2.0%へとそれぞれ減少した。これらの結果は、回答のみの強化学習や自由形式の説明、重み付けされた構造化報酬といった既存手法を上回るものだった。同様の傾向は、より小規模なQwen2.5-1.5B-Instructモデルでも確認されている。
さらに、Qwen-3-4B-InstructやQwen2.5-7B-Instructといった大規模モデルでの検証実行でも同様の傾向が維持されており、明示的な内部コミットメントが安全性アライメントをより忠実で堅牢、かつ監査可能なものにする可能性が示唆されている。
参考: arXiv cs.CR — 2026年9月18日 13:00 (JST)