#RoPE 関連記事 | AI Edgeline

Transformerのハイブリッド構造解明、効率的な設計原理を提案

Runlin Shi (ルンリン・シー) 氏らは2026年9月3日(現地時間)、「Modern Transformers Are Implicit Hybrids: From Functional Differentiation to Principled Hybrid Architecture Design」と題する論文をarXiv cs.LGに公開した。Full Attention (FA) とLinear Attention (LA) を組み合わせたTransformerのハイブリッドアーキテクチャにおいて、これまでヒューリスティックだったコンポーネントの割り当てに対し、機能分化に基づいた設計原則を提案している。

リサーチ・論文 8月8日 20:22

RIG-RoPE提案、マルチモーダルLLMの位置エンコーディング課題を解消

Donggen Li (ドンゲン・リ) 氏は2026年5月21日(現地時間)、arXiv cs.CLに研究報告を提出し、マルチモーダル大規模言語モデル (LLM) における既存の位置エンコーディングの課題を指摘し、新たな手法「RIG-RoPE」を提案しました。この研究は、現代の言語モデルの主要コンポーネントであるロータリー位置エンコーディング (RoPE) の多次元拡張版が抱える、静的な多次元位置割り当てに関する二つの制約に対処しています。