NVIDIAは2026年11月5日(現地時間)、AIワークロードのGPUメモリ需要増大と供給逼迫に対応するため、フルスタック・コデザイン戦略を発表した。GPU、CPU、ネットワーキング、ストレージ、ソフトウェアを統合的に設計することで、AI工場におけるメモリ階層の効率を最大化し、HBM（高帯域幅メモリ）の有用性を高めるとしている。
大規模モデル、長文コンテキスト、エージェント型アプリケーションの増加がGPUメモリへの圧力を高める中、NVIDIAは最新のメモリ技術を迅速に採用するためメモリパートナーと緊密に連携していると説明。同社はHBM3eおよびHBM4技術をアクセラレーテッドコンピューティングスタックに初めて導入した。
フルスタック・コデザインは、AI工場がメモリとストレージの階層で稼働しているという認識に基づいている。GPUのHBMは最も高速で高価な階層であり、モデルウェイトとKVキャッシュが限られた容量を競合する。その下にはCPUメモリ、ローカルSSD、共有ストレージが位置し、それぞれ速度と容量、コストのバランスを取る。
NVIDIAはフルスタック・コデザインにより、モデルウェイト、KVキャッシュ、RAG（Retrieval-augmented generation）データからの圧力を軽減し、HBMの各バイトを最大限に活用する。具体的な手法として、NVFP4形式の採用によりモデルウェイトのサイズを削減し、NVL72システムでは最大72のGPUにモデルウェイトを分散させる。これにより、各GPUがモデルの占める割合を小さくし、KVキャッシュと同時ユーザーのためのHBM容量を確保する。
KVキャッシュについても、NVFP4の適用で占有スペースを削減し、より多くのコンテキストをHBMに保持する。NVIDIA Vera CPUはツール実行を高速化し、その大容量LPDDRメモリはNVIDIA NVLink-C2Cインターコネクトを介してNVIDIA Rubin GPUに接続され、一時停止したコンテキストの待機場所を提供する。NVIDIA Dynamo推論ソフトウェアは、非アクティブなコンテキストをNVIDIA CMXコンテキストメモリストレージに移動させ、必要に応じて迅速に戻す。RAGエンベディングに関しては、NVIDIA Nemotron Retrieverモデルが小型で高精度なエンベディングを生成し、NVIDIA cuVSライブラリがCPUとストレージ全体でインデックスを構築・提供することで、ナレッジベースがHBMを占有しないようにする。
こうした取り組みの結果、NVIDIAのプラットフォーム世代ごとに、ドルスループットはHBM容量の増加を大きく上回って向上している。SemiAnalysis AgentX DeepSeek V4 Proワークロードでは、NVIDIA Vera Rubin NVL72がNVIDIA GB300 NVL72と比較して、ユーザーあたり125トークン/秒で最大30倍高いドルスループットを実現している。
参考: NVIDIA Blog (AI) — 2026年11月6日 01:00 (JST)
原文ハイライト"NVIDIA intentionally designs GPUs, CPUs, networking, storage and software together"