Wei Wang氏らは5月20日(現地時間)、arXiv cs.AIにて、NVIDIA H100 GPUとIntel TDXを利用した機密コンピューティング環境におけるAI推論性能に関するベンチマーク研究を発表した。この研究では、Mistral-7B v0.1およびQwen3-30B-A3Bの2つの大規模言語モデルを使用し、標準的な非機密実行と比較した性能コストを評価している。
機密コンピューティングは、機密性の高い入力データを処理したり、独自のモデルアセットを保護したりするAI推論ワークロードにとって、実用的な展開要件となっている。しかし、GPUアクセラレーションによる大規模言語モデルの提供において、機密実行を有効にする際の性能コストは、ワークロードに依存し、運用上重要であるとされている。
本研究では、単一のNVIDIA H100 80GB GPUを搭載したIntel TDX機密インスタンス上で、標準的な非機密実行と機密コンピューティングモードを比較するベンチマークを実施した。評価では、time to first token (TTFT)、エンドツーエンドのリクエストレイテンシー、リクエストあたりのトークン生成スループット、グローバルなトークンスループット、および並行処理の増加下でのクローズドループリクエストスループットを測定した。
固定リクエストレートの実験において、機密モードではMistral-7Bで平均TTFTが21.8%増加し、Qwen3-30B-A3Bでは27.8%増加した。一方、グローバルなトークンスループットはそれぞれ17.7%および21.1%低下した。クローズドループの並行処理実験では、スループットのギャップは11.5%から20.2%の範囲内に留まったが、より大規模なモデルでは機密モードの方が飽和点が早くに到達した。
これらの結果は、機密GPU推論が負荷がかかった状態でも使用可能なスループットを維持できることを示唆している。しかし、キャパシティプランニングにおいては、安定したスループットのペナルティと、大規模モデルで観察されたより早い飽和動作の両方を考慮する必要がある。
参考: arXiv cs.AI (アーカイブ) — 2026年7月23日 13:00 (JST)
原文ハイライト"Benchmarking Confidential GPU Inference on NVIDIA H100 under Intel TDX"