arXiv physics.med-phは11月3日(現地時間)、医療物理計算と言語モデル（LM）のエラー検出能力を評価する新たなベンチマーク「メドフィズベンチ (MedPhysBench)」を発表したと報じた。オマー・ヌスラト (Omar Nusrat) 氏が開発を主導したこのベンチマークは、放射線治療や診断画像など多岐にわたる医療物理タスクにおいて、計算とエラー検出の性能を測定する。12モデルを対象としたテストでは、33.3%から100.0%の計算スコアが記録された。
メドフィズベンチは、医療物理学者が患者の処方箋を線量に変換し、計算を相互チェックする際の精度とエラー検出の重要性に焦点を当てている。ベンチマークには、放射線治療、診断画像、核医学、放射線防護の分野における10種類の計算項目生成器が含まれており、ティー・ジー・フィフティワン (TG-51) 校正ワークシートのような臨床タスクにも対応する。
参照解答は、関連プロトコルを実装したコードから生成され、採点器が単位変換と許容範囲の適用を行う。同じ入力から、同僚のワークシート全体またはその結果のみを示すエラー検出項目も用意されており、半分は正解、半分には意図的なエラーが仕込まれている。
1,200項目 (うち半分は2モデル用) のテストセットで、12モデルが計算タスクにおいて33.3%から100.0%のスコアを達成した。上位4モデル (99.3-100.0%) で不正解とされた9つの解答のうち、5つはモデルのエラーによるもので、残る4つはメドフィズベンチの項目が誤記または未定義とした点について、NCRPレポート151 (NCRP Report 151) に従っていた。多くのモデルはレベル3の臨床タスクで最も低い成績を示し、Claude Sonnetは20項目の等中心モニターユニット (MU) 計算のうち19項目で逆二乗補正を省略した。
エラー検出に関しては、5つのモデルが96.7%以上の高い検出率と最大4%の誤報率で、主に大きな意図的エラーを検出した。他の7モデルのうち4つでは、結果のみをチェックした場合に誤報率が著しく上昇した。逆二乗補正の省略に関する20の公開ケースを用いた探索的ターゲットテストでは、上位3モデルが全てのワークシートでエラーを捕捉した。一方で、3つの性能が低いモデルは20の意図的エラーを含むワークシートのうち16から18を受け入れた。Claude Opusは、自身の計算では20項目全てで補正を適用したにもかかわらず、20の誤った結果のうち6つを受け入れた。メドフィズベンチの開発チームは、シールド項目で実行後に発見された2つの問題について報告し、コード、項目ごとの結果、およびターゲットテストの応答を公開している。
参考: arXiv physics.med-ph — 2026年11月4日 03:40 (JST)
原文ハイライト"A Benchmark for Evaluating Language Models on Medical Physics Calculations"