Apple ML Researchは2026年8月(現地時間)、大規模言語モデル（LLM）の質問応答（QA）能力を評価するための新たなデータセット「DEEPAMBIGQA (ディープアンビグQA)」と、そのデータ構築パイプライン「DEEPAMBIGQAGEN (ディープアンビグQAジェン)」を発表した。本ベンチマークは、名前の曖昧さ解消と多段階推論を要する複雑な質問に対する回答の完全性を測ることを目的としている。
DEEPAMBIGQAGENは、テキストコーパスと知識グラフに基づき、名前の曖昧さと多段階推論を体系的に組み込んだ自然で検証可能なQAタスクを構築する。このパイプラインによって設計されたDEEPAMBIGQAデータセットは、3,600の質問で構成され、その半数は明示的な名前の曖昧さ解消を必要とする多段階推論が求められる。
既存のQAベンチマークは、映画『ヒート』に出演した俳優のうち、少なくとも1つのアカデミー賞を獲得したのは誰か？といった複雑な質問に対する回答の完全性を十分に評価できていなかった。このような質問には、同名の複数の映画を区別する能力と、多数の俳優の中から証拠を収集・統合するための推論能力が要求される。
DEEPAMBIGQAを用いた実験の結果、最先端のGPT-5でさえ不完全な回答を示し、曖昧な質問では0.13、曖昧でない質問では0.21の厳密一致率に留まった。これらの結果は、情報収集と回答の完全性を目指す、より堅牢なQAシステムの必要性を示している。
今回の研究には、ジアバオ・ジー (Jiabao Ji) 氏、ミン・リ (Min Li) 氏、プリヤンシュ・クマール (Priyanshu Kumar) 氏、シユ・チャン (Shiyu Chang) 氏、サロニ・ポトダー (Saloni Potdar) 氏が貢献した。チャン氏とジー氏は、ユニバーシティ・オブ・カリフォルニア・サンタバーバラ (University of California, Santa Barbara) にも所属している。
参考: Apple ML Research (アーカイブ) — 2026年8月6日 09:00 (JST)