arXiv cs.CLは10月21日(現地時間)、大規模言語モデル (LLM) の能力を多角的に評価する新たなフレームワーク「SkillEval」に関する論文を発表した。このフレームワークは、従来の単一スカラー値による評価が持つ課題を克服し、ベンチマークデータから解釈可能なスキルを自動で発見する。また、心理測定学 (psychometrics) の認知診断モデル (CDMs) を応用し、LLMが持つスキルごとの能力をより詳細に推定するとしている。
従来の大規模言語モデル（LLM）のベンチマーク評価は、個々の事例に対する性能を単一のスカラー値に集約する手法が一般的でした。しかし、このアプローチは粗く、ベンチマークデータセットがカバーする多様なスキル範囲を無視していると指摘されていました。これらの限界に対処し、ベンチマークデータをより活用するため、研究チームはクロスモデルかつスキルレベルでの分析を実行する新たな評価フレームワーク「SkillEval」を提案しました。
SkillEvalは、二つの主要な分野の進歩を統合しています。一つは、LLMのメタ認知能力を活用し、質問から解釈可能なスキルを自動的に発見する手法です。もう一つは、心理測定学 (psychometrics) の認知診断モデル (CDMs) を適用して、LLMのスキルごとの能力を推定するものです。
研究チームは、このフレームワークの有効性を検証するため、3,811のLLMを対象に、MATH、BBH、GPQA、MuSR、IFEvalという五つの多様なドメインにわたるベンチマークの9,523項目で実験を実施しました。その結果、従来の平均ベースの評価パラダイムと比較して、SkillEvalは信頼性が高く、より調整され、情報が豊富で簡潔なモデルプロファイルを生成すると報告されています。これらのプロファイルは、未知の項目におけるモデルの挙動をより正確に予測することが示されたと論文は述べています。
さらに、SkillEvalの有用性は二つのダウンストリームタスクで実証されたとされています。一つはLLMルーティングであり、各クエリを能力が高く効率的なモデルに動的に割り当てることにより、性能を向上させつつ推論コストを60%以上削減できると報告されました。もう一つはコンピュータ適応型テスト (CAT) で、訓練済みのCDMを使用して未知のモデルを効率的に評価できることを示したといいます。これらのスキルプロファイルは、ベンチマークがどのようにスキルを共有しているか、また命令チューニングされたモデルがベースモデルとどのように異なるかといった有用な洞察を提供するとしています。
参考: arXiv cs.CL (アーカイブ) — 2026年10月22日 13:00 (JST)
原文ハイライト"SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models"