arXiv cs.CLが2026年11月17日(現地時間)、S.M. シーファット・アラム (S.M Seefat Alam) 氏の研究論文「What Does a Bias Head Measure? Non-Identifiability in Head-Level Bias Attribution」を公開した。同論文は、大規模言語モデルにおける社会的バイアスを特定の注意ヘッド (attention heads) に局所化し、除去する手法の妥当性に疑問を呈している。研究では、Qwen-2.5-7B-InstructとLlama-3.1-8B-Instructモデルを用いて検証が行われた。
研究によると、注意ヘッドのマップは、ラベルと無関係な応答長マップと高い相関 ($\rho = -0.950$ および $-0.768$) を示し、表面的な交絡因子を識別している可能性が指摘された。応答長とラベルの関連性を排除する介入実験では、プロンプトを固定した場合、応答長が統計量の分散の1%しか説明しないことが判明した。
統計量の分散の64%はプロンプトの同一性によって説明され、これは応答長に単調な順序性はない。また、任意の固定されたプロンプト内では、公平性ラベル、応答長、および保護グループトークンの存在が $\phi = 0.95$ で共線的であり、これはラベリングルールの定義の一部によるものであると報告されている。このため、観察による分析では、マップをこれらのいずれかに帰属させることはできず、この系統の手法ではこれを検証する実験も行われていない。
さらに、本質的な主張も独立して失敗しており、バイアスの選択性は、どちらのモデルでも後層に集中しておらず、テストされたどのヘッドセットもアブレーション(除去)によって不公平率を減少させなかった。しかし、その補完的なセット(反対のラベルでスコア付けされたもの)は、拒否行動を確実に破壊し ($p = 2.7\times10^{-5}$)、パイプラインがこの規模で効果を検出できることを示している。本論文は2026年10月のACL Rolling Reviewサイクルで査読中である。
参考: arXiv cs.CL (アーカイブ) — 2026年11月18日 03:57 (JST)
原文ハイライト"no head set we tested reduces the unfairness rate when ablated."