Together AI（トゥゲザーAI）は2026年7月16日(現地時間)、同社ブログで、機械学習推論サービスにおける稼働時間保証（SLA）の信頼性指標、特に「99.9%アップタイム」の具体的な要件と、それを実現するためのアーキテクチャについて詳細を解説しました。同社は、ノードレベルからリージョンレベルまでの幅広い障害に対するサービス継続性について言及しています。
Together AIは、各信頼性ティアが特定の障害ドメインに対応し、それぞれが異なるアーキテクチャを必要とすると説明しています。
具体的には、99%アップタイムはGPUハードウェア障害やドライバークラッシュといったノードレベルの障害に耐えるアーキテクチャを意味し、自動ヘルスチェックや単一データセンター内での高速レプリカ交換が必要であるとしています。99.9%アップタイムは、完全なデータセンター障害を乗り越えるアーキテクチャを指し、モデルウェイトを二つの施設にデプロイし、それぞれが全負荷を吸収できる容量を持つこと、そして継続的にライブトラフィックを両方にルーティングする方式を採用すると述べています。さらに、99.99%アップタイムはリージョンレベルの停止に対応するもので、マルチリージョンデプロイメント、AZ冗長性、およびリージョン全体の停止を吸収するための予備フェイルオーバー容量が要求されます。
同社は、GPU推論が従来のサービスとは異なる障害モードを持つと指摘し、VRAMにおけるECCエラー、熱的スロットリング、ドライバークラッシュ、ネットワーク障害、ストレージ障害、ソフトウェアのバグなどが挙げられるとしています。Together AIはCursor、Decagon、Cartesia、Yutoriといったチームに推論サービスを提供しています。また、プロバイダーを選択する際には、インフラストラクチャの所有権、深いフルスタックの専門知識、容量とフェイルオーバーの管理、SLAの測定について確認するよう推奨しています。
参考: Together AI Blog — 2026年7月16日 09:00 (JST)