Transformerのハイブリッド構造解明、効率的な設計原理を提案
Runlin Shi (ルンリン・シー) 氏らは2026年9月3日(現地時間)、「Modern Transformers Are Implicit Hybrids: From Functional Differentiation to Principled Hybrid Architecture Design」と題する論文をarXiv cs.LGに公開した。Full Attention (FA) とLinear Attention (LA) を組み合わせたTransformerのハイブリッドアーキテクチャにおいて、これまでヒューリスティックだったコンポーネントの割り当てに対し、機能分化に基づいた設計原則を提案している。