Runlin Shi (ルンリン・シー) 氏らは2026年9月3日(現地時間)、「Modern Transformers Are Implicit Hybrids: From Functional Differentiation to Principled Hybrid Architecture Design」と題する論文をarXiv cs.LGに公開した。Full Attention (FA) とLinear Attention (LA) を組み合わせたTransformerのハイブリッドアーキテクチャにおいて、これまでヒューリスティックだったコンポーネントの割り当てに対し、機能分化に基づいた設計原則を提案している。
この研究は、RoPE-based Transformersが学習するヘッドレベルの機能組織に注目し、その根拠を探索する。行動プローブでは完全な分類が得られないため、RoPE Frequency Importance Score (RFIS) とRoPE Positional Dependence (RPD) の二つの介入指標を提案した。RFISは各周波数がヘッドのアテンション分布に与える影響を測定し、RPDはロータリー位置変調への依存度を分離する。
Qwen3-seriesモデルとLlama3.1に対するRFISとRPDの適用により、ミッドロー周波数帯域で分離されるリトリーバルヘッドと位置ヘッドの完全な分類が示された。この境界は訓練長のポジショナルスケールに追従し、Global Positional Band (GPBand) と名付けられている。この分析は、ゼロショットでの長距離外挿失敗の一因である可能性を示唆し、二つの設計原則を導き出した。一つは、位置モデリングは局所的にのみ機能し、グローバルアクセスは位置独立リトリーバルを介して行うべきであること。もう一つは、両機能をヘッド粒度で層ごとの割り当てで実施すべきであることとされている。
これらの原則はHead-wise Hybrid Architecture (HwH) として具体化され、NoPE FAをグローバルリトリーバルに、LAをローカル位置モデリングに使用する。HwHはFA対LAの比率が1対3未満で、強力な言語モデリングと常識推論能力を維持しつつ、リトリーバル能力を向上させ、Transformer、LA、および層ごとのハイブリッドベースラインと比較してゼロショット長距離コンテキスト外挿を大幅に強化する。アブレーションスタディにより、提案された原則とコンポーネントの役割が検証され、原則に基づいたハイブリッドアーキテクチャ設計が将来の基盤モデルに向けた有望な経路である可能性が示された。
参考: arXiv cs.LG — 2026年9月4日 13:00 (JST)
原文ハイライト"With an FA-to-LA ratio below 1:3, HwH retains strong language modeling"