Zhiqiang Wangらの研究チームは2026年10月21日(現地時間)、低テクスチャの科学スケッチ画像検索精度を向上させる新手法「Augmentation with Reinforcement Transformation (ART)」を提案した。この手法は、野生生物保護や考古学イラストなど、科学分野で利用されるスケッチ画像の学習・検索における課題に対処する。ARTは、画像変換の有効性を継続的に評価し、事前学習モデルの微調整を行うことで、表現学習を最適化する。
arXiv cs.CVで2026年10月21日(現地時間)に公開された論文によると、低テクスチャのスケッチ画像は、詳細な表面テクスチャや視覚的変動が不足しているため、現代の深層学習モデルによる学習や検索が困難である。これに対しARTは、事前に学習されたモデルを微調整し、正確なスケッチ画像検索のための効果的な表現を学習させることを目的とする。
この研究の中心的な観察は、スケッチ画像が回転、反転、ズーム、引き伸ばしなどの画像変換に特に敏感であるという点にある。一部の変換は構造的整合性を保つ一方で、表現学習を妨げる歪みを導入する可能性もある。ARTは、ランダムに変換を選択するのではなく、オーグメンテーション（データ拡張）の選択をmulti-armed bandit (MAB)問題として定式化する。ここでは変換が「アーム」として扱われ、その有効性が報酬を通じて継続的に評価される。これにより、ARTは自己教師あり微調整の前に報酬ガイド付きビューバンクを適応的に構築する。その後の表現損失はARTにフィードバックされない。
Mote Marine Laboratory提供のフロリダマナティーのスケッチ画像を用いた実験では、ARTは変換された傷跡の検索において71.40%の平均Top-1精度を達成した。これは、ランダムなオーグメンテーション選択の68.83%や、位置認識型スケッチ検索の55.84%、凍結されたCLIPの18.18%と比較して高い数値である。この研究はIEEE BigData 2026で発表される。
参考: arXiv cs.CV (アーカイブ) — 2026年11月5日 14:00 (JST)