Wei-Wei Zhang氏らの研究チームは2026年10月26日(現地時間)、論文共有サイトarXivで、長期的ながんケア経路における大規模言語モデル (LLMs) の多段階臨床推論能力を評価する新たなベンチマーク「NPC-RubricBench」を発表した。既存のLLMs評価が単一の臨床状況に焦点を当てがちなのに対し、同ベンチマークは、頭頸部がん (nasopharyngeal carcinoma) を特定の疾患コンテキストとし、ケアの連続体全体でのLLMsの性能測定を可能にする。
NPC-RubricBenchは、2つの癌センターにおける405名の患者の長期医療記録から構築されており、そのデータ基盤は非常に広範だ。具体的には、6つの連続するケア段階にわたる941の患者・段階ユニットと、5つの評価次元にわたる17,688の患者固有のアトミックな評価基準で構成されている。評価プロセスでは、各決定時点での臨床的証拠に厳密に限定された判断が求められる。
研究チームは、このベンチマークを用いて30の汎用および医療特化型LLMsを評価した。その結果、あるモデルが高い診断性能を示しても、それが必ずしもその後の下流のケア段階における適切な推論能力に引き継がれないという重要な発見があった。さらに、LLMsが示す支配的な失敗モードは、ケア段階によって大きく逆転することが判明した。
詳細を見ると、解剖学的病期分類 (anatomical staging) の段階では、モデルが明確な決定エラーを犯すケースが全体の48.2%を占めた。これに対し、初期の検査 (initial work-up) および治療後のフォローアップ (post-treatment follow-up) の段階では、意思決定の欠落 (decision omissions) がそれぞれ33.4%と30.4%を占める主要な失敗モードとなった。注目すべきは、評価された医療に特化したモデル群が、汎用モデルよりも高い欠落率を示す傾向にあった点だ。
また、研究ではクエリの粒度を変更することによって、重要な仕様のトレードオフが明らかになった。広範でオープンエンドな要求形式でプロンプトを提示した場合、30のモデルすべてで意思決定の質 (Decision Quality) が低下することが示された。一方で、より詳細でチェックリストのような具体的なプロンプトを用いると、Decision Qualityは向上するものの、証拠への忠実性 (Evidence Faithfulness) と安全性順守 (Safety Adherence) は低下するという結果となった。
これらの結果は、静的な診断ベンチマークだけでは時間経過に伴う一貫した臨床信頼性を確保するには不十分であることを示唆している。NPC-RubricBenchは、多段階の医療AIにおいて、各段階に適応したセーフガード機能の導入が不可欠であるという重要な知見を提供している。
参考: arXiv cs.AI — 2026年10月27日 02:56 (JST)
原文ハイライト"Patient-specific rubric-based evaluation of large language models across longitudinal cancer care"