Together AI（トゥゲザー・エーアイ）は2026年7月30日(現地時間)、大規模言語モデル（LLM）の推論用エンドポイントを自動でスケーリングする機能の提供を開始しました。この機能は、同社プラットフォームのDedicated Model Inferenceにおいて、インフライトリクエスト数、TTFT（Time To First Token）、GPU利用率、トークンスループットなどのメトリクスに基づいてスケーリングを実行します。
ユーザーはレプリカ数の上限・下限、スケーリングに使用するメトリクスとターゲットを設定し、スケールアップとスケールダウンのタイミングを調整することが可能です。
オートスケーリングは、過剰なプロビジョニングと過少なプロビジョニングの双方によるコスト増を回避することを目的としています。LLMサービングの特性として、GPU利用率が負荷を正確に示さない場合があること、また新規レプリカの起動（コールドスタート）に数分を要することが、従来のステートレスなウェブサービスのオートスケーリングとは異なる点として指摘されています。
この機能では、観測されたメトリクスに基づき必要なレプリカ数を算出し、タイミングウィンドウによってレプリカ数の変動を抑制します。具体的には、スケールアップのウィンドウは短く、スケールダウンのウィンドウは長く設定することで、一時的なトラフィック変動による不必要なスケールダウンを防ぎます。設定には、--min-replicas、--max-replicas、--scale-up-window、--scale-down-window、--scaling-metric、--scaling-targetなどのオプションが用意されています。
スケーリングメトリクスには、以下の3つのタイプがあります。
- Concurrency-driven (inflight_requests): 先行指標であり、デフォルト設定として推奨されています。需要がサービス能力を上回る前にレプリカ数を調整します。
- SLO-driven (ttft, e2e_latency): 応答性や完了時間に関するサービスレベル目標（SLO）に基づいてスケーリングします。ただし、ttft、decoding_speed、throughput_per_replicaはストリーミングトラフィックでのみ利用可能です。
- Efficiency-driven (gpu_utilization, token_utilization): ハードウェアの活用を最大化し、コスト最適化を目的とします。レプリカが真に飽和した場合にのみ容量を追加します。
Together AIは、これらの選択肢を提供することで、各顧客の多様な要件に対応し、最適なオートスケーリングポリシーを構築することを支援します。
参考: Together AI Blog — 2026年7月31日 09:00 (JST)
原文ハイライト"Autoscaling endpoints for LLM inference Choosing scaling metrics, tuning windows, and budgeting"