8月25日、半導体・AI業界の専門調査機関SemiAnalysisが「OpenAI Jalapeño: Better Than Nvidia Blackwell」と題した記事を公開した。OpenAIが自社開発したLLM推論専用チップ「Jalapeño」の詳細アーキテクチャ、ベンチマーク結果、およびNVIDIA Blackwell・Vera Rubinとの性能比較について詳しく報告している。
カスタムASIC（Application-Specific Integrated Circuit：特定用途向け集積回路）の初代製品が既製GPUと互角以上の結果を出すことは、業界では「まずない」とされてきた。GoogleのTPUやAmazonのTrainiumも、市販GPUを超えるまでに複数世代を要している。SemiAnalysisが自社のベンチマークスイート「InferenceX」を用いてOpenAIのラボで実測した結果、電力効率の主要指標でJalapeñoがNVIDIA最新世代を上回ったというのだから、その意味は小さくない。
ベンチマーク結果：数字で見る主要指標
SemiAnalysisが計測した主要指標は「トークンスループット / 電力（tok/s/MW）」だ。現在のデータセンターでは予算やフロアスペースではなく電力が制約となっており、この指標が事業収益に直結する。
Jalapeñoの主な計測結果は以下の通りだ：
- DeepSeek R1：並列度1（concurrency 1）で700tok/s/user超（投機的デコードなし）
- Kimi K2.5（コードエディタCursorのベースモデル）：約700tok/s/user、次点チップの9倍超
- GPT-OSS（OpenAIが提供するオープンウェイトモデル）：同等インタラクティビティでNVIDIA GB200の最高スループット点の約2倍、低並列時では50倍超
特筆すべきは、これらの結果がすべてMTP（Multi Token Prediction：複数トークンを同時予測して出力を高速化する手法）なし・投機的デコードなし・プリフィル/デコード分離なしという条件で出ている点だ。競合チップが各SKUの最高構成（MTP有効）で比較されている点と合わせると、Jalapeñoの余力はさらに大きい可能性がある。
16ヶ月でテープアウトした背景
JalapeñoはOpenAIがBroadcomと共同設計したチップで、2024年半ばにチーム組成を開始し、約16ヶ月でテープアウト（チップ製造向けの最終設計完成）を達成した。GoogleのTPUやAmazonのTrainiumのように、大手テック企業が独自ASICを開発する動きは2020年代前半から加速しているが、MetaやMicrosoftも同様のプログラムに取り組みながら設計・運用の壁に直面してきた経緯がある。
OpenAIがわずか16ヶ月でこの水準に達した背景について、SemiAnalysisはAI支援によるチップ設計プロセスの高速化が寄与していると指摘している。
最大の驚き：汎用チップとしての設計
メディアの多くは「JalapeñoはOpenAI自社モデル向けに最適化された専用チップ」と報じた。SemiAnalysisはこれを明確に否定している。
Jalapeñoは汎用推論チップであり、あらゆる種類のモデルとワークロードを実行できる。OpenAIはジョークとして、Codexのプロンプトだけでポーティングした「Doom」を動作させてみせた。
重要な設計判断のひとつが、プリフィルとデコードを分離しない均質プール（homogenous pool）アーキテクチャの採用だ。プリフィル専用・デコード専用のシリコンを事前に固定比率で用意すると、モデルの世代（知識蒸留型・推論型・エージェント型）が変わるにつれてワークロード比率が変動し、非効率が生じる。OpenAIはすべてのシナリオで高性能を発揮する均質な構成でこの問題を解決した。
Blackwellより、Vera Rubinと比べるべき
SemiAnalysisは公平性の観点から重要な留保を示している。Jalapeñoが真に比較されるべき相手はBlackwell世代ではなく、同じ[HBM4](https://www.sk hynix.com/en/product/dram/HBM4.do)メモリを採用するNVIDIAの次世代プラットフォーム「Vera Rubin」だ。Vera Rubin NVL72はすでに顧客への出荷が始まっており、GB200 NVL72比でperf/MW（電力あたり性能）が5.4倍に達するとされている。
この条件で比較しても、JalapeñoのSTP（Standard Token Processing：投機的デコードや予測展開なしの標準的なトークン生成）スループット/MWはVera RubinのMTP有効時の結果を上回る。TCO（Total Cost of Ownership：総所有コスト）あたりのトークン数ではVera Rubinとほぼ同水準だが、JalapeñoはMTPや投機的デコードをまだ実装していない。実装後はさらにコスト効率が改善する見込みだ。
ただし現時点でJalapeñoはエンジニアリングサンプル段階であり、Vera Rubinが顧客環境に展開済みである点と条件は対称ではない。ソフトウェアスタックの成熟度においても、両チップともに伸び代が残っている。
ベンチマークの限界と留保点
SemiAnalysisは自ら以下の限界を明示している：
- 数値はすべてOpenAIが提供したもの。InferenceXの実行はラボで立ち会い確認したが、フルスイートは未実施
- AgentX（長文脈・マルチターンの実運用ワークロードを模したベンチマーク）の結果は未取得。単純な8k入力・1k出力のシングルターンでは見えないプレフィックスキャッシュやオフロードインフラ等の挙動が本番では重要になる
- テスト対象モデルはDeepSeek V4 ProやKimi K3といった最新フロンティアモデルではなく、規模も比較的小さい
これらの留保を踏まえてもなお、初代チップとして競合の最新世代と互角以上の実測結果を出したことは、AI推論インフラの勢力図に影響を与えうる出来事である。
詳細はOpenAI Jalapeño: Better Than Nvidia Blackwellを参照していただきたい。
