LLMのスキル別能力を解明へ 新評価フレームワーク「SkillEval」公開
arXiv cs.CLは10月21日(現地時間)、大規模言語モデル (LLM) の能力を多角的に評価する新たなフレームワーク「SkillEval」に関する論文を発表した。このフレームワークは、従来の単一スカラー値による評価が持つ課題を克服し、ベンチマークデータから解釈可能なスキルを自動で発見する。また、心理測定学 (psychometrics) の認知診断モデル (CDMs) を応用し、LLMが持つスキルごとの能力をより詳細に推定するとしている。