論文公開サイトarXiv cs.CVは2026年11月7日(現地時間)、教師なしデータから未知のカテゴリを発見するGeneralized Category Discovery (GCD) 向けの新しいマルチモーダルフレームワーク「AptM-GCD」を発表した。Wei Zhang氏ら8人の研究者によって提案されたこの手法は、既存の課題を克服し、テキスト情報と視覚的理解の連携を強化する。
Generalized Category Discovery (GCD) は、限られた数の既知カテゴリのラベル付きサンプルを活用し、ラベルのないデータから新しいカテゴリを発見することを目指す。従来の、視覚的手がかりのみに依存する手法は、人間の知覚が持つマルチモーダルな性質をしばしば見落としていた。
既存のアプローチではカテゴリタグや属性といったテキスト情報を組み込む傾向があるが、これらの手法は全体的なタグと局所的な属性を共有の全体的な画像表現に絡ませてしまう。これにより、属性が信頼性を欠き、誤った予測に繋がる可能性のある手がかりを提供すると指摘されていた。
これらの課題に対し、提案されたAptM-GCDは、属性証拠学習 (Attribute-Evidence Learning、AEL) とマルチモーダルプロンプト推論 (Multimodal Prompt Learning、MPL) を通じて適切なテキストガイダンスを活用する。特にAELメカニズムは、属性を全体的なカテゴリ記述子としてではなく、局所化された視覚的証拠として扱う点が特徴だ。これにより、属性埋め込みとパッチレベルの視覚トークンを相互作用させ、信頼性の高い属性関連領域を特定し、識別的な局所的証拠を抽出することで、ノイズや無関係な属性手がかりの影響を軽減する。
抽出された証拠に基づき、MPLメカニズムは局所的な属性セマンティクスと全体的な視覚理解を橋渡しする。MPLはきめ細かいテキスト証拠を視覚プロンプトに変換し、これをマルチモーダルプロンプトトランスフォーマーに注入する。これにより、属性情報がモダリティ間の直接的な全体的アライメントを強制することなく、文脈的な推論を通じてカテゴリ識別を強化する。
6つのデータセットを用いた広範な実験により、AptM-GCDは、きめ細かいベンチマークと汎用ベンチマークの両方で、一貫して最先端 (State-of-the-Art) の性能を達成している。さらに、このフレームワークは、ユニモーダルおよびクラス不均衡なGCD設定の下でも強力な汎化能力を示し、一貫した性能向上を実現した。本研究は、IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) にコメントが寄せられている。
参考: arXiv cs.CV (アーカイブ) — 2026年11月11日 14:00 (JST)
原文ハイライト"Attribute-Evidence Learning with Multimodal Prompt for Generalized Category Discovery"