FluidPD、LLM推論需要変動に対応しSLOを最大94.6%向上
FluidPDは2026年10月1日(現地時間)、大規模言語モデル (LLM) サービスにおけるプレフィル・デコード分離アーキテクチャ向けの新しいシステムを発表した。このシステムは、LLMワークロードの需要比率変動に起因するサービスレベル目標 (SLO) 違反を回避するため、インプレースでの弾力性を提供する。既存のオートスケーリングメカニズムが持つ課題を解決し、追加のワーカーを必要とせずにサービス品質の改善を目指す。
Tag
#SGLang
4 件の関連記事
STEPQuant、デルタルール再帰状態の量子化エラーを効率管理
arXiv cs.CLは2026年9月29日(現地時間)、ビンチェン・ヤオ氏らが線形アテンションの再帰状態における量子化エラーを効率的に管理する新フレームワーク「STEPQuant」に関する論文を発表した。本研究は、肥大化するKVキャッシュに伴う並行サービス提供時のメモリボトルネックを軽減しつつ、モデルの推論精度を維持することを目指すもので、その実用性が注目される。
Windowed-MTP、投機的デコーディングの性能を向上
arXiv cs.LGは2026年7月23日(現地時間)付けで、機械学習分野の論文「Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context」を公開した。この論文は、大規模言語モデルの自動回帰生成を加速する投機的デコーディングにおいて、既存のMulti-Token-Prediction (MTP) ドラフトヘッドが抱えるフルコンテキストでの計算コスト問題を解決する新手法「Windowed-MTP」を提案している。これにより、million-tokenコンテキストでのデコードステップあたりのコストを最大44%削減したと報告された。
NVIDIA、Nemotron-Labs Diffusionを発表 高速テキスト生成と並列処理を実現
NVIDIAは2026年5月23日(現地時間)、拡散言語モデル（DLM）を基盤とする新たなテキスト生成モデル「ネモトロン・ラボ・ディフュージョン（Nemotron-Labs Diffusion）」を発表した。従来の自己回帰型（AR）モデルとは異なり、このモデルは複数のトークンを並列で生成し、反復的に改善する方式を採用する。これにより、現代のGPUにおける計算モデルを効率的に活用し、ランタイム性能の大幅な向上と、既存テキストの修正能力を提供するとしている。