Tag
3 件の関連記事
Runlin Shi (ルンリン・シー) 氏らは2026年9月3日(現地時間)、「Modern Transformers Are Implicit Hybrids: From Functional Differentiation to Principled Hybrid Architecture Design」と題する論文をarXiv cs.LGに公開した。Full Attention (FA) とLinear Attention (LA) を組み合わせたTransformerのハイブリッドアーキテクチャにおいて、これまでヒューリスティックだったコンポーネントの割り当てに対し、機能分化に基づいた設計原則を提案している。
arXiv cs.LGが2026年6月3日(現地時間)付けで報じたところによると、Ali Kayyam、Anusha Madan Gopal、M Anthony Lewisの3氏による研究論文が、トランスフォーマーにおけるQuery, Key, Value (QKV) の3つの射影について体系的な評価を行い、射影共有の有効性を示した。この研究では、射影の一部を省略する変形が、QKVトランスフォーマーと同等かそれ以上の性能を発揮し、特にオンデバイス推論でのキャッシュ削減に寄与する可能性が示されている。
Hugging Face Blogが2026年5月18日(現地時間)付けで報じたところによると、PaddleOCR 3.5がリリースされ、Hugging Face Transformersを推論バックエンドとして利用可能になった。これにより、サポートされるPaddleOCRモデルは`engine="transformers"`を設定することでTransformersと連携して動作する。この変更は、OCRおよび文書解析タスクをHugging Faceエコシステムに統合する。