Sofiène Boutaj氏らの研究グループは10月7日(現地時間)、デジタル病理学におけるマルチティーチャー蒸留（MTD）のスケーリングに関する研究成果をarXiv cs.CVに発表した。標準的なMTDアプローチが教師数の増加に伴い性能が低下する課題に対し、教師固有の表現を学習することがスケーリングの鍵であると提唱。これによりコンパクトな生徒エンコーダの訓練が可能となり、大規模なタスクセットにおいて既存モデルを上回る効率と性能を実現した強力な基盤モデルコレクション「OMNI」を公開した。
Sofiène Boutaj氏らの研究グループは、複数の教師ネットワークから単一の生徒ネットワークへ知識を転送するマルチティーチャー蒸留（MTD）が、デジタル病理学のような複雑な分野において大きな可能性を秘めていると指摘する。しかし、これまでの標準的なMTDアプローチでは、教師エンコーダの訓練に用いる教師の数が増加するにつれて性能が低下するという根本的な課題に直面することが、彼らの実験によって明らかになった。このスケーラビリティの問題は、MTDの応用範囲を限定する要因となっていた。
この課題を克服するため、研究グループは教師固有の表現を学習することがMTDのスケーリングに不可欠であるとの仮説を立てた。これを実現する新しい設計手法として、訓練可能な教師トークン、特定の注意メカニズム（アテンションスキーム）、追加の混合エキスパート層（MoE層）、および対照損失（コントラスティブロス）の導入を提案している。これらの要素は、各教師モデルが持つ固有の特徴を個別かつ効果的に捉える教師固有表現を学習するために設計されたものであり、結果として生徒モデルが多様な教師からの知識をより効率的に統合できると説明する。
開発された手法は、教師の数が増えても性能の低下が少なく、安定してスケールする点が特徴だ。これにより、コンパクトながらも高性能な生徒エンコーダの訓練が可能となる。研究グループは、これらの生徒エンコーダが、より大規模な教師基盤モデルと比較して最大10倍の効率を達成しつつ、その性能に匹敵するか、または広範なタイルレベルおよびスライドレベルのタスクセットにおいて優位に立つことを実証した。具体的な評価は、10以上の異なる基盤モデルを用いて、39のタイルレベルおよびスライドレベルのタスクで徹底的に行われたという。
これらの成果として、10個の最先端基盤モデルの知識を統合して訓練された、強力かつ効率的な新しい基盤モデルのコレクション「OMNI」がリリースされた。研究グループはさらに、学習された教師固有の表現を詳細に分析し、それらが互いに補完的な性質を持ち、下流のタスクにおいて容易に集約できる理由を明らかにしたと述べている。本研究は、2026年に開催されるNeurIPS（神経情報処理システムに関する国際会議）で採択されている。
参考: arXiv cs.CV (アーカイブ) — 2026年10月12日 13:00 (JST)