【速報】Together AI、LLM推論向けエンドポイントのオートスケーリング機能を提供開始
Together AI（トゥゲザー・エーアイ）は2026年7月30日(現地時間)、大規模言語モデル（LLM）の推論用エンドポイントを自動でスケーリングする機能の提供を開始しました。この機能は、同社プラットフォームのDedicated Model Inferenceにおいて、インフライトリクエスト数、TTFT（Time To First Token）、GPU利用率、トークンスループットなどのメトリクスに基づいてスケーリングを実行します。