arXivは2026年10月29日(現地時間)、論文『Testimony from Timelines: Evidence-Grounded Significance Testing of Temporal Clinical Hypotheses』を公開し、言語モデルが時系列仮説を検証する際の課題を指摘した。特に、根拠となるデータ選択の難しさに対し、Chengyang He氏らは医療分野における誤判断のコストを重視。新たなベンチマーク「STRATA」と段階的検証パラダイム「ART」を導入し、モデルの検証能力向上に焦点を当てている。
現在の言語モデルは、製品リコール後の売上動向やワクチン接種後の副作用の連鎖といった、時間的な因果関係を含む仮説に対し、根拠となる統計的検定なしに流暢な回答を生成する傾向にあります。既存の言語モデルデータ分析ベンチマークでは、関連データが与えられたとしても、その最終的な結論のみが評価対象であり、モデルが判断に至るまでのプロセスが不透明である点が問題視されてきました。特に、検証者が帰無仮説の指定、検定手法の選択、そして仮説に関連するレコードの決定を行う一連のプロセスにおいて誤りがあったとしても、最終的な結論が偶然にも正しくなる可能性があり、これがモデル評価における真の課題を隠蔽してきたと指摘されています。
本研究は、特に誤った判断が人命や経済に重大なコストをもたらしかねない医療分野に焦点を当てています。Chengyang He氏らは、この問題に対する解決策として、判断に至るまでの全ての意思決定を評価する新たなベンチマーク「STRATA」を発表しました。STRATAは、ワクチンの有害事象報告における臨床時系列データに基づいた8,735の仮説を含んでいます。これらの仮説におけるゴールドプラン、エビデンスセット、p値、および最終的な決定は、公開されたコードブックと決定論的なオラクル（正確な判断を下す仮想システム）の下で導出され、再現可能であることが特徴です。
また、研究チームは、各意思決定を検査可能な出力として公開する段階的パラダイム「ART」（articulate, retrieve, test）も提案しています。5つのモデル構成を用いた広範な実験の結果、システムは主に「どのレコードを考慮すべきか」というデータの選択において失敗していることが明らかになりました。これは、従来の精度評価だけでは隠されていた「判決と証拠のギャップ」を示唆するものです。ARTは、このギャップの大部分を解消することに成功し、特に31Bのオープンモデルを、フロンティアモデルと同等のパラダイム下でわずか0.01以内の差にまで近づけました。フロンティアモデルは、コードブックが与えられることで高い成功率を収めています。この成果は、言語モデルが臨床的時系列仮説に対して、より信頼性の高い根拠に基づいた判断を下す可能性を示しています。
参考: arXiv cs.CL (アーカイブ) — 2026年10月30日 02:55 (JST)