手術動画推論セグメンテーション新手法、デジタルツインと文脈記憶で複雑性に対応
イーチン・シェン (Yiqing Shen) とマティアス・ウンベラス (Mathias Unberath) は10月20日(現地時間)、複雑な外科手術動画のセグメンテーション課題に対応する新手法「SurgReasonSeg」を発表した。この手法は、デジタルツイン (DT) 表現と文脈記憶を活用し、手術ワークフロー、器具機能、時間的関係といった暗黙的なクエリ処理能力を向上させる。SurgReasonSegは、大規模言語モデル (LLM) のLow-Rank Adapters (LoRA) と強化学習 (RL) を組み合わせることで、クエリの複雑性に応じたリアルタイムセグメンテーションを実現する。