ジンビン・ルオ (Jinbin Luo)氏らは2026年11月19日(現地時間)、ハイブリッド型大規模言語モデル (LLM) のサービング効率を高めるシステム「TideCache (タイドキャッシュ)」を発表した。CPUとGPUを統合したスーパーチップ向けに設計されており、透過的なキャッシュ管理とレイヤー単位のストリーミングを通じて、GPUメモリーの割り当てと管理を最適化する。
TideCacheは、オープンウェイトのハイブリッド型LLMにおいて主流となっているアーキテクチャが持つ、コンテキスト長や並行処理によって要求が変動する異種キャッシュの問題に対処する。本システムはTransparent Cache Pool (トランスペアレント・キャッシュ・プール)Cache Streamer (キャッシュ・ストリーマー)Request Scheduler (リクエスト・スケジューラー)の三つの主要コンポーネントで構成される。
Transparent Cache Poolは固定された仮想アドレスの背後で物理ページをキャッシュコンポーネント間で再分配し、キャッシュレイアウトとバックエンドインターフェースを維持する。Cache Streamerは、次のグローバルアテンションレイヤーのプレフィックスを共有GPUスロットにプリフェッチすることでGPUレジデンシーを削減し、レイヤーごとの転送と計算のオーバーラップを可能にする。生成されたKV(キーとバリュー)はレジデント状態を維持する。Request Schedulerは、リクエストサイズとキューの状態に応じてレジデントまたはストリーミング実行を選択し、容量調整をトリガーする。
これらの連携により、ストリーミングによって解放された高帯域幅メモリー (HBM) が他のキャッシュコンポーネントや追加のリクエストに対応できる。SGLang (エスジーラング) で実装され、GB300およびGH200のプラットフォームで7種類のモデル/プラットフォーム構成を用いて評価されたTideCacheは、SGLangとHiCache (ハイキャッシュ) を使用した場合と比較して、エージェントターン数を最大2.04倍に増加させ、全体的なP50(50パーセンタイル)トークンあたりレイテンシーを20〜59%削減した。また、エージェントのP50 TTFT(Time To First Token)は1.40〜3.05倍改善された。
参考: arXiv cs.DC (アーカイブ) — 2026年11月20日 03:58 (JST)
原文ハイライト"TideCache completes up to 2.04x as many agent turns"