arXivが2026年11月6日(現地時間)付けで報じたところによると、Rochak Dhakal氏らは手術シーンを自動記述する新しいフレームワーク「GRAC (Graph-Based Retrieval-Augmented Captioning)」を提案した。手術報告書の作成やトレーニングにおける情報抽出の負担を軽減するため、手術シーンをグラフとして表現し、関連するグラフとキャプションのペアを学習データから検索する手法を採用している。
GRACは、手術シーンにおける器具、動作、解剖学的構造の関係性をグラフとして表現する。入力されたシーングラフに対し、GRACは訓練データから関連するグラフとキャプションのペアを検索する。検索された事例と入力シーンの間で器具と組織の相互作用を比較し、その比較特徴をキャプション生成時に利用する。
「EndoVis-18」ベンチマークでは、GRACはCIDEr-Dで5.88を達成し、SGTの4.23や従来の強力なTransformerベースラインの3.36を上回った。正確なinstrument-action-targetトリプレットセットの精度は52.6%に達し、SGTの32.7%や従来のベースラインの26.2%と比較しても向上した。これらの結果は、言語品質と事実の一致性の改善を示している。「TORS」では、GRACはCIDEr-Dで5.06を記録し、強力なベースラインの3.80を上回った。GRACは、構造化された手術シーンの表現と検索された事例の組み合わせが、手術シーンキャプションの精度を高め、より文脈的に意味のある記述を生成することを示している。
参考: arXiv cs.CV (アーカイブ) — 2026年11月7日 03:47 (JST)
原文ハイライト"GRAC demonstrates that combining structured surgical scene representations with retrieved examples improves surgical scene captioning"