デンジェ・ホウ (Dengzhe Hou) 氏らは2026年7月27日(現地時間)、学術誌arXiv cs.CLで論文「コグアリーナ (CogArena)」を発表した。この研究は、大規模言語モデル (LLM) の認知能力構造を多角的に評価するための新たなベンチマーク「CogArena」を導入。手続き的に生成された13のパラダイムと5つの理論に基づいたグループ分けを中心に、55のオープンウェイトモデルおよび6つのファミリーに属する12モデルを対象に評価を実施した結果、安定した5次元の認知プロファイルが確立されていない可能性が示された。
デンジェ・ホウ (Dengzhe Hou) 氏、リンユ・ジャン (Lingyu Jiang) 氏、ファンジョウ・リン (Fangzhou Lin) 氏、カズノリ・D・ヤマダ (Kazunori D Yamada) 氏らが執筆したこの論文は、LLMの認知スコアが能力ごとのプロファイルとして要約される傾向にある現状に対し、その次元構造を検証することを目的としている。
コグアリーナ (CogArena) は、認知タスクスコアが次元ラベルを保証するかどうかを判断するための多手法フレームワークに基づいており、行動シグネチャ、共分散、一致介入、およびアウトオブファミリー予測を組み合わせたワークフローを提供する。
55のオープンウェイトモデルを対象とした初期評価では、ほぼ全てのパラダイム相関が正であり、共通の軸が分散の約半分を説明することが判明した。しかし、グループ内での優位性は小さく、スコアリングに敏感で、モデルファミリー間で不確実性が高いことが示された。
さらに、6つのファミリーから選ばれた12モデルを対象とした独立した研究では、特定の足場（scaffolds）がわずかな一致グループ優位性を示したものの、scaffold固有の対比は多重比較補正を乗り越えられず、選択性はheld-out-family予測を改善しなかった。これらの結果は、現在の証拠が安定した5次元プロファイルを確立していないという境界的な結論を支持している。
参考: arXiv cs.CL (アーカイブ) — 2026年7月29日 13:00 (JST)
原文ハイライト"A Multimethod Evaluation of Cognitive Ability Structure in Large Language Models"