【速報】Hugging Face、PyTorchのTPUネイティブサポートを発表
Hugging Faceは2026年10月19日(現地時間)、TorchTPUを通じてPyTorchのTensor Processing Unit (TPU) ネイティブサポートを発表した。これにより、同社のエコシステムであるTransformers、Diffusers、KernelsがGoogleのAIアクセラレーターであるTPU上で直接実行可能となる。
Tag
#Transformers
7 件の関連記事
【速報】Hugging Face、AWS Trainium向け「TorchNeuron」発表
Hugging Faceは2026年10月18日(現地時間)、PyTorch向けに新しいネイティブバックエンド「TorchNeuron」を発表した。これは、AWSの機械学習アクセラレーターであるトレーニアム (Trainium) 上でのモデル実行を簡素化する。TorchNeuronはeager mode、torch.compile、ネイティブ分散APIをサポートし、Hugging Faceの既存ライブラリでの直接利用を可能にする。
新AIモデル「Jev」が注目 テキスト分類技術の進化たどる
Sebastian Raschka氏は2026年9月29日(現地時間)、自身の運営するブログ/マガジンにて、テキスト分類のための言語モデルの進化に関する記事を公開した。同氏は、技術コミュニティで注目を集めるAIモデル「Jev」を、従来のバグ・オブ・ワーズ（Bag-of-words）から深層学習モデルに至るまでの歴史的文脈に位置づけ、その特徴を解説している。Jevは、GPTなどの大規模言語モデル（LLM）と比較し、特定の分類タスクをより高速かつ安価に処理できる点が強みとされている。
トランスフォーマーの汎化能力、データセットのタイプ多様性が鍵か
アンシ・モイシオ (Anssi Moisio) 氏らは2026年9月11日(現地時間)、トランスフォーマーモデルの合成的汎化 (Compositional generalisation) に関する研究論文をarXiv cs.CLで発表した。同研究は、以前の研究で指摘された構造的汎化の困難さが、モデル固有の性質ではなくデータセットのタイプ多様性に起因する可能性を提示。タイプ多様性が合成的汎化に与える影響を検証した。
Transformerのハイブリッド構造解明、効率的な設計原理を提案
Runlin Shi (ルンリン・シー) 氏らは2026年9月3日(現地時間)、「Modern Transformers Are Implicit Hybrids: From Functional Differentiation to Principled Hybrid Architecture Design」と題する論文をarXiv cs.LGに公開した。Full Attention (FA) とLinear Attention (LA) を組み合わせたTransformerのハイブリッドアーキテクチャにおいて、これまでヒューリスティックだったコンポーネントの割り当てに対し、機能分化に基づいた設計原則を提案している。
トランスフォーマーの射影共有に関する研究発表
arXiv cs.LGが2026年6月3日(現地時間)付けで報じたところによると、Ali Kayyam、Anusha Madan Gopal、M Anthony Lewisの3氏による研究論文が、トランスフォーマーにおけるQuery, Key, Value (QKV) の3つの射影について体系的な評価を行い、射影共有の有効性を示した。この研究では、射影の一部を省略する変形が、QKVトランスフォーマーと同等かそれ以上の性能を発揮し、特にオンデバイス推論でのキャッシュ削減に寄与する可能性が示されている。
PaddleOCR 3.5、Transformersを推論バックエンドに採用
Hugging Face Blogが2026年5月18日(現地時間)付けで報じたところによると、PaddleOCR 3.5がリリースされ、Hugging Face Transformersを推論バックエンドとして利用可能になった。これにより、サポートされるPaddleOCRモデルは`engine="transformers"`を設定することでTransformersと連携して動作する。この変更は、OCRおよび文書解析タスクをHugging Faceエコシステムに統合する。