OpenAIは2026年8月26日(現地時間)、「第37回ホットチップス (Hot Chips) カンファレンス」で、同社初のカスタム推論チップ「Jalapeño」の進捗を発表した。このチップはNVIDIA製システムと比較して、実モデルワークロードにおいて大幅な効率向上と低レイテンシを実現したとされている。年末までにOpenAIのインフラへの導入を開始する計画である。
OpenAIが発表した「Jalapeño」は、特にワットあたりの性能において主要な進歩を示した。公開されたベンチマーク詳細によると、JalapeñoはピークスループットでNVIDIA GB200/GB300システムと比較して1.5倍から1.9倍の作業量をワットあたりで提供し、エンドツーエンドのレイテンシは1.7倍から3.6倍低減された。また、高度にインタラクティブなワークロードでは、2.1倍から4.1倍高い性能を発揮した。
チップの定格電力は700Wだが、テスト実行時には550W以下に留まったと報告されている。このアーキテクチャは、通常トレードオフとなるスループットとレイテンシの両方を向上させる、バランスの取れた推論能力を持つとされている。一部の設定では、積極的なプリフィル/デコード分離や投機的デコーディングといった手法を使わずに、それらを使うシステムを上回る性能を示したという。
OpenAIは、GPT-AstraとCodexが低レベルカーネルの記述と最適化を支援し、これによって3つの計画外のオープンウェイトモデルが約2ヶ月でJalapeño上で高性能を実現したと説明した。選択されたアテンションおよびMoEブロックでは、これらの実装が既存の人間の専門家が作成したコードよりも1.5倍から1.8倍高速に実行されたと報告されている。このことは、コンパイラおよびカーネルの作業がモデル改善のループに組み込まれる傾向にあることを示唆する。
また、カンファレンスではエージェントのハーネス、メモリシステム、評価エンジニアリングに関する進展も示された。Microsoft主導のAutoSaddlerに関する論文では、ハーネスをコードとして扱い、プロンプト、ツール設定、制御ロジックをオフラインで修正することで、GAIA2で9.0ポイント、SWE-Bench Proで9.6ポイント、Terminal-Bench 2.0で10.0ポイントの向上が報告された。
PerplexityはNVIDIA DGX Spark上で、オーケストレーターLLM、サブエージェントLLM、エージェントハーネスがすべてローカルハードウェアで実行されるPortable Computerをローンチした。Appleは、新しいM5 Ultra Mac StudioおよびM6/M5 Pro Mac Miniのページで、Thunderbolt 5を介したRDMAを利用してMacをクラスタリングし、Kimi K3やGLM-5.3といったモデルをAPIのような速度で実行する技術を取り上げた。
参考: Latent Space (アーカイブ) — 2026年8月27日 10:31 (JST)
原文ハイライト"Since announcing Jalapeño, our first custom inference chip, we’ve been testing it"