ディアンイェ・フアン氏 (Dianye Huang)らは10月23日(現地時間)、arXiv cs.CVで公開された論文にて、医療用画像診断における数値連続性を保持する新たなビジョン・言語モデル「HAD-VLM」を開発したと発表した。このモデルは、超音波測定などにおける連続的な測定目標と、従来のトークンベースの数値予測との間の不一致を解消することを目指す。画像とテキストの融合を通じて、定量的な医療画像分析の精度向上に寄与すると期待される。
研究チームはHAD-VLMを、autoregressiveなテキスト生成と連続的な測定予測を共通のバックボーン内で組み合わせるハイブリッドautoregressive-diffusionフレームワークとして提示している。視覚的なプロンプトチューニングにより、ビジョンエンコーダを超音波画像に適応させ、diffusionプロセスを用いてキャリパーの終点座標と測定長さからなる5つの成分表現を予測する。
測定推定の精度向上のため、座標と長さの一貫性メカニズムとアンサンブル予測を組み合わせた後処理戦略が導入された。EchoNet-LVHにおける4つの心エコー測定タスクで評価した結果、HAD-VLMは、IVSdで1.36mm、LVIDdで2.77mm、LVIDsで3.05mm、LVPWdで1.16mmの平均絶対誤差を達成した。これはVicunaベースのautoregressiveベースラインと比較して、誤差を21.4〜37.6%削減することを示す。さらに、ファインチューニングされたQwen3-VLや直接MLP回帰よりも、これら4つのタスク全てにおいて優位な性能を発揮した。
医療質問応答タスクでは、評価されたデータセット上で性能が維持された。X線椎体測定においては、HAD-VLMは平均絶対誤差を11.4ピクセルから6.7ピクセルに削減している。これにより、autoregressiveな言語生成とdiffusionベースの連続予測の統合が、定量的な医療画像測定を改善しつつ、プロンプト条件付きタスクの柔軟性を維持することが示されている。
参考: arXiv cs.CV (アーカイブ) — 2026年10月24日 02:40 (JST)
原文ハイライト"Beyond Discrete Tokens: Preserving Numerical Continuity in Medical Vision-Language Models"