Muhammad Azlan Qazi氏、Alexandros Iosifidis氏、Qi Zhang氏らは2026年10月14日(現地時間)、論文「TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference」を発表した。このフレームワークは、エッジデバイス間での分散型Transformer推論における通信のボトルネックを解消し、推論遅延の削減を目指す。特に、計算と通信の直列化という既存の課題に対処する。
現在の分散型Transformer推論では、シーケンス並列パーティション間でアクティベーションを交換する際の通信が、推論遅延の主要な要因とされている。既存の圧縮手法は通信コスト削減に寄与するものの、受信データがアテンション処理の前にキー/バリュー投影を受ける必要があり、計算処理が通信と直列化されるという構造的な制約があった。
TRACEは、この制限を解決するために設計された。各Transformer層のポストアテンション残差部にCodebookを配置し、キー/バリュー表現をコードブックで事前にインデックス化する。推論時、交換されるアクティベーションはコンパクトなコードブックインデックスにエンコードされ、受信側はそれらからキーとバリューをテーブルルックアップによって直接復元可能となる。これにより、受信データに対する後続の計算が不要となり、通信と計算のオーバーラップを実現し、分散型Transformer推論における主要な遅延ボトルネックを削減する。
本フレームワークは、階層的クラスタリングにより学習されたCodebookを多解像度階層として構造化するため、再学習なしで実行時の通信ビットレートを適応させることができる。TRACEは、精度優先バリアントと、精度と効率のバランスを取るバリアントの二つの運用形態をサポートする。ViT-Base (ImageNet-1K、CIFAR-100) および ViViT-B (UCF-101) を用いた実験では、既存のCodebookベースの分散推論フレームワークと比較して、最大1.89%の精度向上と最大1.27倍のエンドツーエンド推論速度向上が確認された。また、非圧縮シーケンス並列推論と比較した場合、通信オーバーヘッドを最大22,624倍削減することが示されている。
参考: arXiv cs.LG (アーカイブ) — 2026年10月19日 13:00 (JST)
原文ハイライト"TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference"