アレンAI (allenai) は2026年10月20日(現地時間)、大規模言語モデル (LLM) における意思決定の公平性を評価するための新たなベンチマーク「FairStress」を発表した。このベンチマークは、LLMが最終的に下す決定だけでなく、その決定が「逆説的なプレフィックス」と称される特定の入力によってどのように変化するかという、モデルに潜在する非対称性を測定する。高リスクな用途でのLLM利用が拡大する中、FairStressは公平性に対するより深い洞察を提供することを目指している。
FairStressは、LLMが人々に影響を与える高リスクな場面での使用が増加している現状に対応して開発された。これらの高リスクな場面には、求職者の選考、融資の承認、治療患者の優先順位付け、学生の入学評価などが含まれ、モデルの出力が個人の機会や資源に直接的な影響を及ぼす可能性がある。
従来の公平性ベンチマークは、主に候補者のデモグラフィック情報が入れ替わった場合にモデルが同様の決定を下すかを検証する形式が一般的であった。これに対しFairStressは、モデルが特定のデモグラフィックグループを支持するadversarial prefixes（逆説的なプレフィックス）と呼ばれる操作によって、意思決定をどの程度容易に変更するかを評価することで、隠れた非対称性を明らかにする。これにより、特定の集団に対するモデルの脆弱性を浮き彫りにすることが可能になる。
アレンAIは、Olmo、Llama、Qwen、Gemma、Claude、GPT familyを含むオープンウェイトモデルおよびフロンティアモデルを対象に実験を実施した。この実験では、同じ説得力のある引数が、それが支持するデモグラフィックグループによって、モデルが決定を変更する可能性を増減させることが判明した。さらに、モデルがデモグラフィック情報を含む決定を説明する方法や、雇用、融資、医療、教育、住宅といった領域における内部活性化パターンにも違いが確認された。
FairStressは、雇用、医療、融資、教育、住宅、刑事司法など29の多様なドメインにわたる300の現実的な2候補意思決定シナリオと、これを拡張した1300万以上のテストケースで構成されている。迅速かつ低計算コストな評価を可能にするため、FairStress-Coreという5万アイテムのサブセットも開発された。実験結果からは、デモグラフィック情報が明示的になるにつれて、モデルの行動が非対称になる傾向が示された。特に、引数が少数派に有利な場合、モデルは正しい決定を放棄しやすいことが確認されている。
参考: Hugging Face Blog — 2026年10月20日 04:44 (JST)