オンライン学術論文公開サイトarXiv cs.CVは2026年9月2日(現地時間)、Yida Lin氏らが発表した論文「What Does the Encoder Actually Decide? A Controlled Comparison of Vision Backbones on Joint Tree Segmentation and Stereo Depth」を通じて、樹木のセマンティックセグメンテーションとステレオ深度推定におけるビジョンバックボーンの選択が、これらのタスクの結合性能に与える影響に関する研究成果を公開した。研究では、畳み込み型とハイブリッド型エンコーダーがトランスフォーマーを上回り、パラメーター数が性能を直接予測しないことなどを特定している。
この研究は、樹木剪定ロボットがピクセルごとの樹木帰属情報と距離情報を取得する際に通常利用する、ビジョンバックボーンとそのタスクヘッドに焦点を当てた。研究チームは、データセット、デコーダー、損失関数、スケジュール、評価方法を固定し、エンコーダーの選択のみを変更した場合に、薄い植生に対する共同セマンティックセグメンテーションとステレオ深度にどの程度の変化が生じるかを検証した。
具体的には、ハードパラメーター共有ネットワークを構築し、単一のエンコーダーがセグメンテーションと深度の双方のブランチに情報を供給する構成を採用した。下流の再チューニングは行わず、エンコーダーのみを交換して評価を実施した。約25Mのパラメーター予算内で、CNN（畳み込みニューラルネットワーク）、トランスフォーマー、ハイブリッドモデル、MLPミキサー、ステートスペースモデルを含む複数のアーキテクチャファミリーからエンコーダーを評価し、全てゼロから学習させた。
深度は樹木ピクセルに限定して評価され、セグメンテーションは境界F1スコアと背景IoU（Intersection over Union）を用いて評価された。これは、「全てを樹木としてラベル付けする」といった不適切なショートカットを防ぐためである。研究から、主に以下の三つの重要な発見が報告されている。
第一に、最も強力なエンコーダーは畳み込み型とハイブリッド型であり、トランスフォーマーではないことが示された。第二に、パラメーターの総数が品質を直接予測するものではないことが判明した。第三に、セグメンテーションと深度のランキングは強く一致しており、タスク間の競合がないことが明らかになった。
Yida Lin氏、Bing Xue氏、Mengjie Zhang氏、Sam Schofield氏、Richard Green氏がこの研究の著者として名を連ねている。
参考: arXiv cs.CV — 2026年9月15日 13:00 (JST)
原文ハイライト"What Does the Encoder Actually Decide?"