Plawan Kumar Rath氏らは2026年5月2日(現地時間)、大規模言語モデル（LLM）の圧縮に用いられる量子化技術が、モデルの公平性を損ない、新たなバイアスを誘発する危険性があるとの研究論文をarXiv cs.LGで公開しました。この研究は、Qwen2.5-7B、Mistral-7B、Phi-3.5-miniの3モデルを対象に、BF16から3ビットまでの5段階の精度レベルで検証を実施。特に3ビット量子化では、これまでバイアスが確認されなかった項目で6～21％のステレオタイプな振る舞いが生じることが判明しました。
Plawan Kumar Rath氏とRahul Maliakkal氏が共同で執筆したこの論文は、LLMの推論コストとメモリフットプリント削減のために広く行われている訓練後量子化 (post-training quantization)が、モデルの品質に与える影響について、従来の研究では十分に理解されていなかったと指摘しています。
既存の研究は通常、フル精度と単一の量子化バリアントという2つの条件のみを比較する傾向がありました。また、集計されたバイアス指標に依存し、単一のモデルファミリーのみを評価しているため、段階的な劣化と閾値に依存する安全性障害を区別することは困難であったと両氏は論じています。
今回の研究では、Qwen2.5-7B、Mistral-7B、Phi-3.5-miniという3つの命令チューニング済みモデルを使用。BF16（Brain Float 16）から3ビットまでの5つの精度レベルで、合計12,148項目に及ぶBBQ（Bias Benchmark for QA）バイアスベンチマークを、5つの異なるランダムシードにわたって評価しました。
合計911,100件の推論記録を詳細に分析した結果、特に3ビット量子化においては、これまでバイアスが確認されなかった項目の6%から21%において、新たなステレオタイプな振る舞いが引き起こされることが明らかになりました。この現象は明確な用量反応パターンに従っており、ロジスティック回帰分析によってその関係性が裏付けられています。同時に、モデルが「unknown（不明）」の回答を選択する傾向は17.4%減少したことも判明しました。
論文は、これらの項目レベルでの変化が標準的な品質評価指標では見過ごされがちである点を強く強調しています。例えば、8ビット量子化ではパープレキシティ（perplexity、言語モデルの予測能力を示す指標）の増加が0.5%未満、4ビット量子化では3%未満にとどまっていました。にもかかわらず、4ビットの時点で既に2.5%から5.6%の項目で新たなバイアスが出現していました。これらの発見は、集計された評価指標が公平性に関連する劣化を体系的に見落とす可能性があることを示しています。
この研究結果は、LLMを実際に展開する前に、バイアス出現を明示的にテストする、品質を重視した圧縮プロトコルの必要性を示唆しています。
参考: arXiv cs.LG — 2026年5月18日 13:00 (JST)
原文ハイライト"Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels"