リサーチ・論文

Evolving Infraが論文発表、LLM推論遅延を最大14倍削減

Evolving Infra (イボルビング・インフラ) は11月12日(現地時間)、大規模言語モデル (LLM) のエージェントワークロード向けに設計された新たなサービングフレームワークに関する論文を公開しました。この論文は、計算リソースの配分とキーバリュー (KV) キャッシュ管理をランタイムで適応させることで、LLMの推論遅延を削減するアプローチを提示しています。既存のシステムの柔軟性に関する課題への対応が期待されています。

ベンダー・製品

エヌビディア、韓国主要オープンモデル向けDynamo最適化レシピを提供

エヌビディア (NVIDIA) は2026年11月8日(現地時間)、韓国の主要オープンモデルに対応するDynamo最適化デプロイレシピを公開した。このレシピは、SK Telecomの「A.X K2」、LG AI Researchの「K-EXAONE 2.0」、Upstageの「Solar Open 2」、Motif Technologiesの「Motif-3」といったモデルを対象としている。データセンター規模での推論性能を最大化し、開発者がこれらのモデルを迅速に本番環境へ導入することを支援する。