Evolving Infra (イボルビング・インフラ) は11月12日(現地時間)、大規模言語モデル (LLM) のエージェントワークロード向けに設計された新たなサービングフレームワークに関する論文を公開しました。この論文は、計算リソースの配分とキーバリュー (KV) キャッシュ管理をランタイムで適応させることで、LLMの推論遅延を削減するアプローチを提示しています。既存のシステムの柔軟性に関する課題への対応が期待されています。

Evolving Infraは、コンピューティングリソースの配分とKVキャッシュ管理を分離する設計を採用しています。これにより、ノードがプリフィル (prefill) とデコード (decode) の間で効率的に切り替えることが可能となり、多様で動的なエージェントワークロードへの対応力が向上します。従来のプリフィル-デコード (PD) 分離型サービングシステムが持つ柔軟性の限界を克服することを目的としています。

このフレームワークは、オンラインプランナーを用いてPD分割をワークロード構成に適合させます。さらに、エージェント対応の分散型KVマネージャーが、エージェントのコンテキスト管理からの信号に基づいてキャッシュの削除と転送を指示します。このアプローチにより、プリフィルノードとデコードノード間の負荷の不均衡や、エージェントが再利用するKVキャッシュが誤って削除されるといった問題を解決することを目指しています。

評価では、GLM-5.2およびKimi K2.6を用いたコーディング、数学、コンピューター利用タスクが実施されました。最大256 GB300 GPUを用いたテストにおいて、Evolving InfraはNVIDIAの生産フレームワークであるDynamoと比較して、平均エンドツーエンドリクエストレイテンシを最大4.1倍、P95 TTFT(Time To First Token)を最大14倍削減したと報告されています。この結果は、大規模なLLMデプロイメントにおいて、効率的かつ低遅延なエージェント対応サービングの可能性を示唆しています。研究者たちは、この新しいフレームワークが、複雑なエージェントベースのLLMアプリケーションの性能向上に貢献すると考えています。


参考: huggingface.co — 2026年11月12日 11:10 (JST)

この記事をシェア
X はてブ LinkedIn