arXiv cs.AIは2026年10月9日(現地時間)、言語モデルがWikipediaゲームを遂行できるかに関する研究論文を発表した。この研究では、大規模なドキュメントコレクションからの情報検索タスクにおいて、言語モデルの能力を評価。人間を大幅に上回るモデルはなかったものの、GPT-o3 mini、GPT-4o、QwQ:32B、DeepSeek-R1:70Bといった一部の高性能モデルが人間と同等の成功を収めたと報告している。
Alexander Hickey、Joanna Knight、James Bishop各氏が執筆した本論文は、専門的な言語的または科学的知識を必要とする情報検索タスクの難しさに着目し、Wikipediaゲームをこのタスクの類推として利用した。
研究では、文埋め込みモデルとLLM（大規模言語モデル）を、5つのWikipedia言語と5つの学術文献データセットで比較。OpenAlexを用いてWikipediaページと論文引用の非常に大規模なローカルグラフを構築し、サードパーティAPIに依存せずに言語モデルのナビゲーション能力を調査した。
モデルのパフォーマンスは人間とTF-IDFベンチマークと比較され、どのモデルも人間を統計的に有意に上回ることはなかった。しかし、GPT-o3 mini、GPT-4o、QwQ:32B、そしてDeepSeek-R1:70Bといった一部のモデルは、人間と同等の成功率を達成したという。パフォーマンスとランキングは言語とトピックによって変動し、これらの技術を利用する実務家への影響が示唆される。
論文は64ページにわたり、17の図と10の表を含み、Artificial Intelligence（cs.AI）とInformation Retrieval（cs.IR）の分野に分類される。
参考: arXiv cs.AI — 2026年10月10日 02:59 (JST)
原文ハイライト"No model significantly outperformed humans, although the best models"