ホセ・エルナンデス＝オラロ氏らは2026年10月14日(現地時間)、学術誌arXiv cs.AIに「Artificiality's First Exam: An LLM-Referenced C-test for Supraintelligence」と題する論文を発表した。同論文は、加速するAI開発において、人間や既存のAIシステムに較正されたベンチマークが循環的になり、すぐに飽和するという課題を指摘している。既存の手法では評価困難な超知能を持つ機械を評価するため、大規模言語モデル (LLM) を参照機械とする新たなCテストを提案する。
同論文は、現在のAI開発の急速な進展により、人間や既存のAIシステムに基づいて難易度が設定されたベンチマークが、その評価能力の限界に直面していると指摘する。テストを作成する人間や現在のAIシステムよりも能力が高まる可能性のある機械をどのように評価するかという問題に対し、逆問題と帰納的推論の問いに着目する。
解決策の一つとして、コルモゴロフ複雑性 (Kolmogorov complexity) の計算可能な変種であるレビンのKt (Levin’s Kt) を基盤とした評価手法を提案。レビンのKtは、メカニズムの最も単純な表現エンコーディングと、そのメカニズムを実行するための時間ステップの対数を均衡させることで、難易度の理論的上限を定める。従来のCテストが最小限のユニバーサル・チューリング・マシン (Universal Turing Machines: UTM) に基づいていたのに対し、提案手法ではLLMを表現機械として利用する。LLMは人間の文化の集大成を知識として捉え、プロンプトを自然言語プログラムとして用いるUTMであると定義されている。
この新しいテストでは、人間や最先端モデルが解決する以前に、高難易度の新しいテスト項目を生成することが可能で、その難易度はビット単位の比率尺度で推定される。研究チームは測定法を形式化し、軽量な生成および認証パイプラインを開発した。また、参照機械の能力と、試験官と受験者の間の能力差がテスト結果に与える影響についても検証している。
12のLLMに最初の認証済み項目群を適用した結果、エージェント特性曲線は難易度の上昇とともに減少し、超知能の範囲 (supra-intelligence window) と呼ばれる未踏の高難易度領域の項目を認証できることが示された。
参考: arXiv cs.AI (アーカイブ) — 2026年10月15日 13:00 (JST)