Tag
3 件の関連記事
arXiv cs.LGが2026年10月7日(現地時間)付けで、グラフニューラルネットワーク (GNNs) から多層パーセプトロン (MLPs) への知識蒸留における課題に関する研究論文を発表した。この論文「Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs」では、既存手法が教師モデルの持つグラフ由来の幾何学的情報を適切に保持できていない点を指摘。この問題を解決するため、Ollivier-Ricci曲率に誘導される新しい学習時蒸留フレームワーク「Graph Geometry-aware MLP (G^2MLP)」を提案した。
Amir Zamani氏とZeinab Ghasemi-Naraghi氏は9月23日(現地時間)、エッジデバイスでのリアルタイム微小物体検出に特化した新たな軽量フレームワーク「クロススケール・チャネルワイズ知識蒸留（Cross-Scale Channel-wise Knowledge Distillation、CSCWD）」に関する研究を、arXiv cs.CVで発表した。この手法は、航空画像における微小物体検出の課題に対応し、YOLO11m-P2ティーチャーモデルからYOLO11nスチューデントモデルへの高解像度空間表現転送を通じて、推論アーキテクチャの変更なく性能を向上させる。
Byung-Kwan Lee氏らの研究チームは6月16日(現地時間)、大規模言語モデル (LLM) の知識蒸留における新たな手法「Zone of Proximal Policy Optimization (ZPPO)」を発表した。この手法は、教師モデルをポリシー勾配ではなくプロンプト内に維持することで、小規模な学生モデルの汎化能力を改善する。特に困難な問題に対して二つの異なるプロンプトを生成し、学生モデルの効率的な学習を促し、既存の蒸留手法を上回る性能を示したという。