Together AIは11月19日(現地時間)、GPUクラスター向け分散キャッシュ層「Together Storage Accelerator (TSA)」を提供すると発表しました。TSAは、ウォームリードの速度を最大20倍に向上させ、データ取得をクラスターあたり1回のオリジンフェッチで完結させるとされます。既存のアプリケーションは修正不要で、Together GPU Clustersの利用者には追加費用なしで提供される見込みです。
多くのAIチームは、Amazon S3やCloudflare R2などのオブジェクトストレージ、またはHugging Face Hubからモデルを直接プルしており、WAN経由のデータ転送に伴う低速さ、高コスト、レート制限が課題となっていました。Together Storage Accelerator (TSA) は、これらの課題を解決するために開発されたとされます。
TSAは、GPUクラスター内の各GPUノード上で動作する分散キャッシュ層として機能します。最初にいずれかのノードがオブジェクトを読み込む際、TSAはそのデータをクラスター内のNVMeにキャッシュします。これにより、その後のすべてのノードからのデータ読み込みは、クラスター内部から劇的に高速なローカル速度で提供されます。測定結果によると、クロスクラウドオリジンからのプルと比較して、ウォームリードは約20倍高速化され、最大3.4 GB/sの速度を達成したと報告されています。具体的には、Cloudflare R2から13〜15秒かかっていた2 GiBのオブジェクトダウンロードが、キャッシュからは0.6〜0.7秒で完了するとされています。
コールドリードには追加費用が発生せず、TSAを介した初回読み込みは直接ダウンロードと比べて約5%の速度差にとどまると説明されています。例えば、70 GBのチェックポイントを200ノードのクラスターでプルする場合、TSAなしでは200回のオリジンフェッチが必要となりますが、TSAを導入すると1回で済みます。これはデータエグレスの200倍の削減を意味するとされます。アプリケーションの変更は不要で、既存のboto3コードやtransformersコール、CLIワークフローがそのまま利用できるとしています。
Together Storage Acceleratorは、Together GPU Clustersにおいて追加費用なしで利用可能になる予定です。
参考: Together AI Blog — 2026年11月19日 09:00 (JST)