イマド・アリ・シャー (Imad Ali Shah) 氏らの研究チームは2026年9月13日(現地時間)、論文「HSI-Road Relabeled: Surface-Aware Road-Scene Segmentation」をarXiv cs.CVで公開した。本研究は、既存のHSI-Roadデータセットに表面レベルのラベルを追加し、路面シーンのセマンティックセグメンテーションにおける課題解決を目指す。具体的には、手動でラベル付けされた6クラスの分類法とRGB-to-NIRレジストレーションパイプラインを導入し、複数のセマンティックセグメンテーションモデル (SSM) を評価した。
研究チームは、HSI-Roadデータセットが提供するRGB画像と25チャネルの近赤外線 (NIR) 画像には二値マスクがあるものの、表面レベルのラベルが不足している点に着目した。この課題に対応するため、Background、Asphalt、Concrete、Dirt、Water、Grassの6クラス分類法を手動でラベル付けし、RGB-to-NIRレジストレーションパイプラインとそれに対応するアノテーションを導入した。
評価には6つのセマンティックセグメンテーションモデル (SSM) を使用し、オリジナル解像度RGB (RGB${\text{ori}}$)、登録済み低解像度RGB (RGB${\text{reg}}$)、NIR、およびチャネルスタックされたRGB${\text{reg}}$とNIRを組み合わせたRGBN${\text{stk}}$の4種類の入力構成で性能を測定した。評価結果は、クラスごとのIoU (Intersection over Union) およびF1スコアで報告された。
全体性能ではRGB${\text{ori}}$が最高スコアを達成したが、これは他のマッチング解像度入力と比較して12倍のピクセル数を持つことに起因する。192×384のマッチング解像度では、RGBN${\text{stk}}$が6つのSSMすべてでNIRを上回り、6つのうち5つでRGB$_{\text{reg}}$を上回る結果を示した。特に「Water」クラスで最も一貫した性能向上が見られた。これらの結果は、空間解像度の重要性を強調しつつ、NIRがRGBに補完的な情報を提供することを示唆している。
参考: arXiv cs.CV (アーカイブ) — 2026年9月14日 13:00 (JST)
原文ハイライト"NIR provides complementary information to RGB."