Tag
5 件の関連記事
エヌビディア (NVIDIA) は6月30日(現地時間)、同社の推論ソフトウェアスタックにより、AIインフラにおけるトークンコストを大幅に削減したと発表した。特に、NVIDIAのBlackwellプラットフォーム上でDeepSeek V4モデルのトークンあたりのコストが、約1ヶ月で最大5分の1に削減されたことを明らかにした。AIプロジェクトが本番環境へ移行する中で、インフラ意思決定の焦点がチップのピーク性能からトークンあたりのコストへと変化していると指摘されている。
NVIDIAは2026年6月30日(現地時間)、ロボット開発を加速させる「Isaac ROS (アイザック ロス)」の最新進化を発表した。このオープンソースフレームワークは、CUDA-accelerated librariesとAIモデルを提供し、開発者が自律移動ロボット、操作システム、ヒューマノイドといった多様なロボットアプリケーションを効率的に構築できるよう支援する。NVIDIA Jetson platformやNVIDIA CUDA librariesを活用したソフトウェアとして、そのフルスタックサポートとモジュール化が注目される。
トゥギャザーAI (Together AI) は6月23日(現地時間)、大規模言語モデル (LLM) によるマルチGPUクーダ (CUDA) カーネル生成能力を評価するベンチマーク「パラレルカーネルベンチ (ParallelKernelBench: PKB)」の結果を公表しました。評価により、最先端のLLMが既存のベースライン性能を上回る高速なマルチGPUカーネルを生成する能力には、依然として課題があることが判明しました。現行モデルは本番環境でのボトルネックとなる通信性能の改善に対し、限定的な成果しか出せていません。
Together AIは2026年5月28日(現地時間)、世界最速の音声テキスト変換スタックを構築したことを発表した。同社は、自動音声認識 (ASR) をGPU推論問題だけでなく、フルパスのシステム問題として扱うことで、この成果を達成した。その性能はアーティフィシャル・アナリシス (Artificial Analysis) によって評価されている。
Hugging Faceは2026年5月14日(現地時間)、大規模言語モデル (LLM) の推論効率を大幅に高める非同期バッチ処理の技術詳細を公開した。従来の同期処理ではCPUとGPUが交互に動作するため、GPUがアイドル状態となる時間が推論実行時間の約24%を占め、これが大きな課題と指摘されてきた。今回の新手法は、このアイドル時間を解消し、GPUの稼働率を最大化することで、推論時間の短縮とリソース利用効率の向上を目指す。