イーチン・シェン (Yiqing Shen) とマティアス・ウンベラス (Mathias Unberath) は10月20日(現地時間)、複雑な外科手術動画のセグメンテーション課題に対応する新手法「SurgReasonSeg」を発表した。この手法は、デジタルツイン (DT) 表現と文脈記憶を活用し、手術ワークフロー、器具機能、時間的関係といった暗黙的なクエリ処理能力を向上させる。SurgReasonSegは、大規模言語モデル (LLM) のLow-Rank Adapters (LoRA) と強化学習 (RL) を組み合わせることで、クエリの複雑性に応じたリアルタイムセグメンテーションを実現する。
従来の外科手術動画セグメンテーション手法は、事前に定義されたカテゴリや明示的なテキストクエリへの依存が強く、ワークフロー、器具の機能、時間的関係に関する推論を要する暗黙的なクエリへの対応が困難であった。
SurgReasonSegは、これらの課題に対処するため、手術基盤モデルからデジタルツイン (DT) 表現を構築する。さらに、異なるクエリの複雑性に特化した2つのLow-Rank Adapters (LoRA) を強化学習 (RL) を用いて訓練する。精度と遅延の最適なバランスをリアルタイムで実現するため、同じくRLで訓練された軽量ルーターが最適なアダプターを選択する仕組みだ。
また、SurgReasonSegは、クエリの複雑性とワークフローフェーズに応じて適応的なスライディングウィンドウを設定し、時間的文脈を確立する。手術の文脈記憶から、ワークフローの類似性や手順の関連性に基づいて、関連する過去のケースを検索する機能も備えている。
研究チームは、意味的、空間的、時間的カテゴリを網羅する新たな外科推論セグメンテーションベンチマークEndoVis-ReasonSegを導入した。このベンチマークは、1,460件の訓練サンプルと961件のテストサンプルで構成される。
SurgReasonSegは、EndoVis-ReasonSegにおいて、最も強力な既存ベースラインである「ReSurgSAM2」を上回る性能を示した。具体的には、意味的クエリで0.178、空間的クエリで0.237、時間的クエリで0.297のJ&Fスコア改善を達成している。さらに、既存の参照セグメンテーションベンチマークである「Ref-EndoVis17」および「Ref-EndoVis18」においても最高の結果を記録した。本手法は、クエリ分布全体で平均18.8 FPS (frames per second) で動作し、外科手術動画におけるリアルタイム推論セグメンテーションの実現を可能にする。
参考: arXiv cs.CV (アーカイブ) — 2026年10月22日 13:00 (JST)
原文ハイライト"Complexity-Aware Surgical Video Reasoning Segmentation with Digital Twin and Context Memory"