arXiv cs.CLは2026年11月5日(現地時間)、大規模言語モデル (LLM) の安全性ベンチマークにおける多肢選択問題 (MCQ) 形式の影響に関する研究論文を発表した。この論文は、MCQ形式がLLMの拒否率を抑制する現象について、Llama-3.1-8BとQwen3-8Bモデルでの詳細な分析に基づき、そのメカニズムを初めて解明したと報告している。
Stepan Epifantsev et al.が執筆した論文Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDPは、これまで示唆されてきたMCQ形式によるLLMの拒否率低下について、その作用メカニズムを明らかにしている。研究では、Weapons of Mass Destruction Proxy (WMDP) データセットを使用し、Llama-3.1-8BとQwen3-8Bの2つのモデルを対象に詳細な分析が実施された。
tuned lens techniqueを用いた分析では、モデルがMCQ形式で問題が提示された際、回答文字トークンに非常に迅速にコミットすることが示された。これは、オープンエンド形式において拒否が段階的に形成される挙動とは対照的である。さらに、MCQ形式における活性化は、オープンエンド形式と比較して、拒否方向からおよそ3倍離れていることが観測された。
研究では、MCQ形式の回答を伝えるアテンションヘッドを意図的に除去 (ablating) すると、モデルの拒否が増加することも確認された。これは、MCQ回答の選択プロセスがモデルの拒否挙動と競合している直接的な証拠であると結論付けられている。これらの発見は、MCQ形式による安全性スコアが主にモデルの知識能力を測定しており、その安全性メカニズム自体を評価しているわけではないことを示唆する。本研究はBlackboxNLP 2026 (EMNLP 2026 workshop) で採択された。
参考: arXiv cs.CL — 2026年11月9日 14:00 (JST)
原文ハイライト"Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP"