Hugging Face Blogは2026年9月1日(現地時間)、LLM（大規模言語モデル）ベンチマークの測定対象を個々のプロンプトレベルで監査する新たな手法「BenchMIRT」を発表した。この手法は、モデルのスコアを駆動する基盤となる能力を特定することを目的とする。
BenchMIRTは、サイコメトリクス分野に起源を持つItem Response Theory（IRT）を多次元に拡張したMIRTを基盤としている。これにより、同じ質問に対する性能に寄与する複数の能力を分離する。
開発元は、100のLLMと16のベンチマーク、3万4千以上の質問データを用いてBenchMIRTを訓練した。その結果、BenchMIRTはベンチマークが測定する能力について明示的な指示なしに、安全性と一般推論という2つの主要な次元を識別した。
既存のベンチマーク分析では、社会的バイアスを評価するBBQや、危険なデュアルユース知識をテストするWMDPが、想定される安全性よりも一般推論能力と強く関連していることが明らかになった。また、有害なリクエストへの対応をテストするHarmBenchでは、標準的な質問群と文脈依存の質問群は安全性と関連が深いが、著作権関連の質問群は一般推論と関連が深いと判明した。
BenchMIRTは、評価における最も情報量の多い質問の特定にも活用できる。実験では、質問数を10%に削減しても、基礎となる安全性や推論能力に関するモデルの強弱の全体像はほぼ維持された。また、未評価の質問に対するモデルの回答予測精度は79%に達し、従来の単純なアプローチの70%を上回った。
参考: Hugging Face Blog (アーカイブ) — 2026年9月1日 19:54 (JST)
原文ハイライト"BenchMIRT helps researchers separate those signals and see what’s actually driving a benchmark’s score."