DeepSeek（ディープシーク）は10月20日（現地時間）、同社製の推論フレームワーク「DeepInfer（ディープインファー）」をオープンソースとして公開した。同フレームワークはDeepSeek-V4.1-Flash（ディープシーク・ブイフォーポイントワン・フラッシュ）の基盤技術であり、高スループットと低遅延を実現すると説明されている。同社の生産データによると、1つのクラスターで1日あたり155兆トークンの処理能力を持ち、80%超の推論マージンと81日間の投資回収期間を達成可能だとしている。
DeepInferは、vLLM（ブイエルエルエム）をベースにSGLang（エスジーラング）とTRRT-LLM（ティーアールアールティーエルエルエム）を参考にカスタマイズされたもので、最大72時間のプロンプトキャッシュに対応する。これはOpenAIが発表した12時間のキャッシュ能力を上回る。ただし、同社が「crown jewels」と呼ぶ超最適化されたKVキャッシュ管理やロードバランシングなどの一部コンポーネントは、内部インフラと密結合しているため、現時点では完全にオープンソース化されていない。
DeepSeekが公開したエンジニアリングレポートによれば、1つのクラスターから1日あたり155兆トークンを処理し、入力キャッシュヒット率は96%に達する。オフピーク時におけるアクセラレータ1時間あたり38ドルの収益が報告されており、80%を超える推論マージンを実現。投資回収期間は81日とされている。これらの数値は同社による一次情報であり、独立した監査は受けていない。
DeepInferは分散推論、投機的デコーディング、SWA Bounded Replay、構造化出力をサポートし、NVIDIA（エヌビディア）およびHuawei Ascend（ファーウェイ・アセンド）プラットフォームで動作する。付随するdeepseek-recipe（ディープシーク・レシピ）コンポーネントは、プロダクショントークンエンコーディング/デコーディングと公式API互換の処理を実装する。DeepSeekは今後もモデル推論の実装と最適化をこのリポジトリで公開するとしている。
vLLMチームは、DeepInferが主にvLLMを基盤として構築され、Apache 2.0（アパッチ・ツーポイントゼロ）ライセンスでリリースされたことを認めた上で、GB200（ジービー200）環境下においてDeepInferが公表した結果に対し6%以内のデコードスループットを達成したと報告している。
DeepInferのアーキテクチャは、ビジョンエンコーディング、プリフィル、デコードの各ステージを分離し、それぞれのボトルネックに応じてスケールできるように設計されている。プリフィルは推定計算コストに基づいてワークを割り当て、デコードは実行中のリクエスト数とKVキャッシュ長の双方を考慮して負荷分散を行う。エキスパート並列処理による負荷分散では、人気のあるエキスパートを複製し、定期的に再配布することでデバイス間の待ち時間を削減する仕組みが採用されている。
参考: Latent Space (アーカイブ) — 2026年10月21日 15:54 (JST)
原文ハイライト"Open Source SOTA Inference running 155T toks/day/cluster making $22m/day"