ベイステン (Baseten)は2026年10月28日(現地時間)、プラットフォームにレプリカごとのCPU、GPU、およびメモリ使用率のメトリクス機能を追加したと発表した。これにより、集約されたグラフでは隠れていた異常値を、個々のレプリカ間で比較し特定することが可能になる。
この新機能により、各ワークスペース内で個別のレプリカにおけるCPU、GPU、メモリの使用状況を比較できるようになる。ユーザーは「Metrics」タブで「Per replica」を有効にするか、ログから直接ワーカーのメトリクスを対応する時間範囲で開くことで、この機能を利用できる。
Basetenは、この機能がプロダクション推論におけるデバッグと自動スケーリングの可視性を向上させると説明している。
同社プラットフォームでは、人気のモデルとしてjoey-1、elephant-1、mammoth-1、DeepSeek V4.1 Flash、1017 Fast、GLM-5.3、GLM-5.3-Flashなどが提供されている。
参考: baseten.co — 2026年10月29日 01:10 (JST)
原文ハイライト"compare CPU, GPU, and memory usage across individual replicas"
この記事をシェア