Hugging Faceは2026年10月19日(現地時間)、TorchTPUを通じてPyTorchのTensor Processing Unit (TPU) ネイティブサポートを発表した。これにより、同社のエコシステムであるTransformers、Diffusers、KernelsがGoogleのAIアクセラレーターであるTPU上で直接実行可能となる。
TorchTPUはPyTorchの新しいバックエンドとして追加され、PyTorchユーザーはコードをtorch_xlaに移植したりJAXを学習したりすることなく、通常のPyTorchコードでTPUを利用できるようになった。これにより、Hugging FaceモデルのTPUでの推論・学習サポートを提供していたOptimum TPUも不要となる。
TPUはGoogleが設計するAIアクセラレーターであり、主にニューラルネットワークの行列計算に特化している。Google Cloudで提供されており、単一チップから数千チップのポッドまで利用可能。Hugging Faceは、Transformersではdevice_map="tpuを指定するだけでモデルをTPUにロードできるようにし、Diffusersではpipe.to(tpu")でTPUをデバイスとして利用可能にした。PallasカーネルでチューニングされたKernels HubのTPUカーネルを利用することで、モデルの高速化も実現する。
Hugging Faceは、TransformersライブラリのテストスイートをTPUで継続的に実行し、サポートの品質向上に取り組んでいる。これまでに34件の問題がTorchTPUリポジトリに報告され、19件が既に修正された。また、このプロセスを通じてStaticCacheやQwen3のテンソルパラレルプランにおけるTransformers自身のバグも発見・修正されている。
参考: Hugging Face Blog — 2026年10月20日 09:00 (JST)