8月27日、Tom's Hardwareが「Hot Chips 2026: OpenAI's Jalapeño AI ASIC unpacked」と題した記事を公開した。この記事では、OpenAIが自社開発した初のAI推論ASICチップ「Jalapeño」の詳細アーキテクチャと性能指標について詳しく紹介されている。発表の場となったのはHot Chips 2026——シリコンバレーで毎年開催される半導体アーキテクチャの主要カンファレンスであり、GoogleのTPUやAmazonのTrainiumなど業界を代表するカスタムシリコンが初公開されてきた舞台だ。
AIがチップを設計した——9ヶ月でテープアウトした経緯
Jalapeñoで最も注目すべき事実は、RTL設計開始から9ヶ月という異例の短期間でテープアウトを達成した点だ。OpenAIのRichard Ho氏によれば、RTLの初期作業は2025年2月に始まり、同年11月にテープアウト、2026年5月に最初のシリコンが到着し、同月中にCodexをJalapeño上で動作させるに至った。
この速度を可能にしたのがAIの活用である。コアの半数以上がXLS（ハードウェア記述言語）とAIモデルによって記述・最適化されており、OpenAI自身のAIモデルが電力・性能・面積（PPA）の改善点を探索した。人間が設計したベースラインと比較した結果は以下の通りだ：
- BF16乗算器：56%の改善
- FP4ドット積ブロック：21%の改善
- FP32アキュムレータ：10%の改善
- 行列ユニットの面積：10%削減
- SIMDユニットの面積：8%削減
さらに、本来フロアプランに収まらないはずだった回路をAI支援で詰め込むことにも成功したという。具体的に何の回路かはOpenAIは明かしていない。
アーキテクチャの核心：NUMA方式の「メモリスライス」設計
Jalapeñoは64個のコアスライスから構成され、各スライスが専用のHBMスライスと対になるNUMA（Non-Uniform Memory Access）方式の空間アーキテクチャを採用している。NUMAとは、プロセッサごとに「近いメモリ」と「遠いメモリ」を区別し、近いメモリへのアクセスを優先することで全体の帯域効率を高める設計思想だ。これにより、統一メモリサブシステムで生じるコンテンション（競合）を回避し、頻繁にアクセスされるオペランドを計算リソースの近くに保持できる。
メモリには次世代規格のHBM4を採用している。HBM4はHBM3比で大幅に帯域幅が向上した最新のHigh Bandwidth Memoryであり、AI推論ワークロードで重要なメモリ律速ボトルネックの緩和に寄与する。
64スライス間のデータ移動には、レジスタ間でゼロコンフリクトを謳う専用の高帯域・低レイテンシ集合通信ネットワークを使用する。一方、リモートメモリアクセスや外部スケールアップネットワークへの接続には、あえて「通常のチップアーキテクチャより非力（anemic）」に設計した汎用NoC（Network-on-Chip）を別途用意する。性能クリティカルなトラフィックに汎用NoCを使わせないための意図的な設計判断だ。
主要スペックは以下の通り：
| 項目 | 数値 |
|---|---|
| HBM4メモリ容量 | 216 GB |
| メモリ帯域幅 | 最大15.4 TB/s |
| 演算性能（MXFP8） | 3.4 PFLOPS |
| 演算性能（MXFP4） | 13.4 PFLOPS |
| TDP | 700W |
| 動作クロック | 1.70 GHz（1.80 GHz予定） |
2,048台構成の16ラックポッドでは、27 EFLOPS（MXFP4）、432 TBのHBM4、32 PB/sの集計メモリ帯域幅を実現する。
推論フェーズを3段階に分ける設計思想
NvidiaがPrefillとDecodeの2フェーズで処理を分けるのに対し、OpenAIはPrefill（計算バウンド）・Draft（レイテンシバウンド）・Verification（帯域バウンド）の3フェーズに分解する。
フェーズごとに専用ASICを用意するアイデアもあり得るが、モデルやコンテキスト長によって各フェーズの比率が変動するため、特定フェーズ向けのプロセッサが遊んでしまう問題が生じる。そこで、すべてのフェーズを1枚のバランス型ASICで処理する設計を選択した。副次的な効果として、特化型ASICで必要になる大規模なKVキャッシュ転送も不要になり、消費電力を抑えられる。
NvidiaのGB200/GB300との性能比較
OpenAIはSemiAnalysisのInferenceXベンチマークを用いて、レイテンシ対スループットの曲線全体で比較を行った。消費電力はJalapeñoが700W、GB200が1,200W、GB300が1,400Wで、電力効率を軸に評価している。
- ピーク電力効率：GB200比1.5〜1.9倍、GB300比で同等以上
- エンドツーエンドレイテンシ：1.7〜3.6倍低減
- 最小TBT（Token Between Time）：2.1〜4.1倍低減
「104.3倍のスループット」という数字も発表されているが、これはGB300が最低レイテンシ動作点で稼働している条件下での比較であり、全体的な性能差を示すものではない点に注意が必要だ。
絶対的な演算性能ではNvidiaのBlackwell Ultra（FP8で10 PFLOPS、NVFP4スパースで20 PFLOPS）に及ばない部分もあるが、OpenAIは電力効率と低レイテンシを主要な訴求点と位置づけている。
プログラミング環境とCUDAとの違い
JalapeñoはNvidiaのCUDAとは異なり、オープンソースの**Tritonエコシステム**上の低レベルプログラミング環境で動作する。ソフトウェアがテンソルの物理的配置やチップ上の分散方法を明示的に制御する必要があり、CUDAより複雑だ。
OpenAIはここでもAIを活用し、効率的なデータ配置・スケジューリング・通信パターンの探索やカーネル最適化を自動化している。一方、次世代チップでアーキテクチャが変わるたびに最適化をやり直す必要があるという課題もある。CUDAで書かれたコードがBlackwell→Rubin→Feynmanと無修正で動くのと対照的だ。
次世代チップはすでに開発中
Jalapeñoは「第1世代」であり、第2世代はすでにテープアウトに向けて進行中、Ho氏のスライドには「planned」と記載されていたものの、プレゼン中に第3世代が「operational」と発言する場面もあった。BroadcomとのASIC共同開発体制を維持しながら、OpenAIはハードウェア内製化の歩みを加速させている。製造面では、コントラクトマニュファクチャラー（受託製造業者）であるCelesticaが物理的なハードウェア製造を担当する予定だ。
詳細はHot Chips 2026: OpenAI's Jalapeño AI ASIC unpackedを参照していただきたい。
