8月27日、Los Angeles Timesが「New OpenAI chip promises faster, cheaper AI than Nvidia's」と題した記事を公開した。この記事では、OpenAIが独自開発したAIチップ「Jalapeño」がNvidiaの現行製品を一部のベンチマークで上回ったと発表したことについて詳しく紹介されている。
NvidiaのGB300を超えたと主張するOpenAIの自社チップ
OpenAIが独自開発したAIチップ「Jalapeño（ハラペーニョ）」が、Nvidiaの「GB300」を2つの指標で上回ったとしている。比較したのは、単位電力あたりのAI処理量（スループット）と、レスポンス速度（レイテンシ）の2点だ。
OpenAIのチップ責任者Richard Ho氏が月曜日のインタビューと火曜日のBloomberg Tech番組で明かしたもので、ベンチマークにはGB300が最上位に位置していた公開ランキングシステムを使用した。
ただし、いくつかの留意点がある。
- 比較対象はGB300であり、直近に出荷が始まったNvidiaの次世代チップ「Vera Rubin」とは比較していない
- JalapeñoはAIの推論フェーズ（inference）専用であり、モデルの学習（training）には対応していない。学習ではNvidiaが依然として強みを持つ
推論とはすでに学習済みのモデルが実際にプロンプトへ応答する段階を指し、ChatGPTのようなサービスの実運用コストに直結する部分だ。
「コストを大幅に削減できる」——700Wという低電力設計
Jalapeñoの特筆点は700Wという低電力（low power）での動作だ。データセンターにおいて電力コストは主要な費用項目の一つであり、Ho氏はこれによってOpenAIのインフラコストを「大幅に（by a lot）」削減できると述べた。
通常、スループット重視のチップとレイテンシ重視のチップはトレードオフの関係にある。Jalapeñoはその両立を目指した設計になっており、Ho氏は次のように説明している。
「ラボでは、Jalapeñoは高スループット領域でも低レイテンシ領域でも良好なパフォーマンスを示している。多くの顧客により安くサービスを提供でき、かつレスポンス速度を重視する顧客にも非常に高速な応答を返せる」
また、大規模モデルほど恩恵が大きいとされる点も重要だ。OpenAIは自社の小型オープンソースモデルのほか、DeepSeekやMoonshot AIのサードパーティモデルでも公開テストを実施。最も規模の大きいMoonshot AIの「Kimi」モデルで最大の優位性が確認されたという。さらに未公開の大規模モデルでの内部テストでも良好な結果が出ており、「ワークロードが大きく複雑になるほどチップ設計の価値が高まる」とブログポストで述べている。
Broadcom共同開発、AIを使った設計短縮、そして第3世代へ
JalapeñoはBroadcomとの共同開発によって生まれた。両社は昨年提携を発表しており、今年6月には「記録的な短期間」での開発完了を報告している。さらにOpenAIは自社のAIモデルをチップ設計プロセスそのものに活用し、開発期間を短縮したとしている。
ロードマップも積極的だ。
- 第2世代：設計がすでに相当進んでいる。数か月以内にテープアウト（設計の最終確定工程）を予定
- 第3世代：コンセプト設計をすでに開始
Ho氏はStanford大学で開催されたHot Chipsカンファレンス（8月26日）でもこの内容を発表し、「AI半導体分野のイノベーションを促進するために公開している」と説明した。
Nvidiaとは「引き続き重要なパートナー」
自社チップの優位性を強調する一方で、Ho氏はNvidiaとの関係についてこう述べている。
「Nvidiaは非常に良いパートナーであり、我々は引き続き大量のNvidia製品を必要としている」
OpenAIはすでに多数の外部チッププロバイダーと契約しており、現在は一部モデルの高速推論にCerebras Systemsの技術も使用している。ただし、「当面はCerebrasのような既存プロバイダーを置き換えるものではない」とHo氏は明言している。
自社チップ開発に向かう流れはOpenAIに限らない。Etchedは先週、210億ドル評価での資金調達を発表し低電力チップの出荷を開始。Googleシリコン事業出身者が創業したMatXも高スループット・低レイテンシの両立を目指す半導体を開発中だ。
Ho氏はこの取り組みについて「これはステップ1だ」と述べた。この発言はJalapeñoが最終目標ではなく、グローバルで構築中の大規模AIインフラのコスト削減に向けた長期的な布石の第一歩であることを示している。
詳細はNew OpenAI chip promises faster, cheaper AI than Nvidia'sを参照していただきたい。
