arXiv は2026年8月4日(現地時間)、論文「WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament」を公開した。同論文は、2026 FIFA ワールドカップの全104試合を対象に、6つの大規模言語モデル (LLMs) の予測能力を、リアルタイムかつデータリークなしで評価した研究について報告している。評価は各試合開始前に行われ、モデルの記憶による影響を排除。モデルは試合結果予測において平均63.9%の精度を示し、ブックメーカーの本命を支持するのと同水準だった。
研究は、39日間にわたる2026 FIFA ワールドカップの期間中に実施された。6つの最先端LLMsは、拡張された思考能力とサーバーサイドのウェブ検索機能を用いて、各試合開始前に1試合ずつ、7つの市場予測カードに記入するよう求められた。これには104試合すべてと、12のグループ優勝者、およびトーナメント全体の予測プールが含まれる。質問時には回答データが存在しなかったため、評価は構築段階からデータリークの影響を受けず、合計4,494件の予測が記録された。
このトーナメントを通じた評価により、6つのシステムが共有する一連の行動が明らかになった。試合結果の予測において、LLMsは平均63.9%の精度を達成したが、これはブックメーカーの本命を支持するのと同水準である。モデル間の同意率は正答率よりも高く、多数決による予測は追加の利益をもたらさなかった。また、LLMsは引き分けやゴール数を過小評価し、スコアラインの予測は単一の典型的な結果に集中する傾向を示した。
予測精度は、試合に関する情報量よりも、対戦の偏り具合に左右されることが判明した。詳細な情報が豊富な接戦では精度が低下し、トーナメント全体に関する質問に対しては良好な回答を示した。このタスクにおいて、現世代の最先端システム間に明確な差別化は見られず、順位は上位と下位で安定し、中盤は変動しつつも差は小さかった。
本研究で使用されたブリーフィング資料、試合日程、および公式結果は、スコアリングコードと共にベンチマークとして公開されている。
参考: arXiv cs.CL (アーカイブ) — 2026年8月5日 02:59 (JST)
原文ハイライト"no answer existed when the question was asked, so the evaluation is leakage-free"