10月22日、Tom's Hardwareが「Google's TPUs for AI workloads now run in Meta's data centers」と題した記事を公開した。GoogleのTPUが外部顧客(Meta)のデータセンターで初めて本番稼働を開始し、第7世代「Ironwood」がNvidia GB200の推論スループットを最大2倍上回る数字を記録した。NvidiaのCUDAモートを揺るがす動きとして業界から注目を集めている。
性能:IronwoodとGB200の比較
まず、この発表で最も注目すべき数字を押さえておきたい。
パフォーマンス面では、第7世代TPU「Ironwood」を16チップ使用したvLLMセットアップで、Moonshot AIの「Kimi K3」モデル(MoEアーキテクチャ、総パラメータ数2.8兆・実効アクティブパラメータ数は一部)を単一ユーザー向けに700トークン/秒超を達成したとvLLM開発元スタートアップのInferactが報告している。
※MoEモデルの「総パラメータ数」とは全エキスパートの合計値であり、推論時に実際に使用される「アクティブパラメータ数」はその一部にとどまる。2.8兆という数字はモデル全体の規模を示すものであり、実行時の計算コストとは区別して理解する必要がある。
この数字は、16枚のNvidia GB200での公式セットアップ(452トークン/秒)を上回る。Kimi K3とQwen 3 27Bのカーネルでは、Speculative Decoding(小規模なドラフトモデルで大規模LLMの推論を高速化する手法)なしの小バッチサイズで、GB200ベースライン比約1.4〜2倍のスループットを記録した。
MetaのデータセンターでGoogleのTPUが本番稼働
GoogleのカスタムAIチップ「TPU(テンソル処理ユニット)」が、Metaのデータセンターでの本番AI推論ワークロードに投入された。Googleの開発者ブログで発表されたこの事実は、TPUが外部顧客のプロダクション環境で稼働した初めてのケースとなる。
鍵となる技術は、PyTorchネイティブに対応した推論エンジン「SGLang-TorchTPU」だ。MetaのPyTorch-TPUリードであるZongwei Zhouは「SGLang-TorchTPUは本日MetaでProduction稼働している」と述べ、「MetaはPyTorchネイティブで成熟した推論スタックを手に入れた」と評した。
従来、TPU上でSGLangやvLLMといった推論エンジンを動かすにはGoogleの独自AIフレームワーク「JAX」が必要だった。今回の新バージョンはPyTorchから大幅な書き直しなしにTPUを利用できる。MetaはJAXへの移行を望んでいなかったため、Googleはこの障壁を取り除く形でTorchTPUを開発した。
MetaのPyTorchエンジニアリングディレクターJana van Greunenは「Metaは単一のハードウェアアーキテクチャに縛られるわけにはいかない。TorchTPUはPyTorchワークロードをGoogle TPUにデプロイすることを可能にする」と述べた。
NvidiaのCUDAモートへの挑戦
この動きは単なるハードウェア調達の話ではなく、AIインフラにおけるソフトウェアエコシステムの覇権争いという文脈で読むべきだ。
NvidiaがAI市場で圧倒的な地位を維持できている理由の一つは、CUDAという独自の並列計算プラットフォームを中心に構築されたソフトウェアエコシステムの厚みにある(いわゆる「CUDAモート」)。PyTorchを含む主要なAIフレームワークがCUDA向けに最適化されており、他のハードウェアへの移行コストが高い構造になっている。
今回のTorchTPUはこの構造に直接挑む。さらに翌日には、AmazonがTrainium2・Trainium3向けの独自PyTorchバックエンド「TorchNeuron」をオープンソース化したことを同じPyTorchカンファレンスで発表しており、業界全体でNvidiaのソフトウェアロックインを弱めようとする動きが同時多発的に進んでいる。
業界アナリストのSemiAnalysisは昨年の時点でMetaがTPU顧客であることを公開ニュースレターで報じており、今回の本番稼働確認はその裏付けとなった。同社は次のようにコメントしている。
「今日MetaがTPU推論をプロダクションで稼働させていることを確認。これはCUDAモートにとって何を意味するのか?」
開発体制:InferactとRadixArkの役割
本件には複数の開発主体が関与しており、整理しておきたい。
InferactはvLLMの開発元スタートアップであり、今回IronwoodとGB200の性能比較ベンチマークを実施・報告した。一方、RadixArkはSGLangの開発元であり、SGLang-TorchTPUエンジン本体の開発を主導している。両者はそれぞれ異なる推論フレームワークを担う独立した組織だ。今回の発表はこの2つのプロジェクトがTPUへの対応を同時並行で進めていることを示しており、エコシステム全体での協調が進んでいる。
背景と今後の展開
MetaがTPU活用を試みるのは今回が初めてではない。2020〜2023年には旧来のPyTorch/XLAブリッジ経由でGoogleのTPUを研究目的で利用していたが、その後契約をキャンセルした経緯がある。今回はMetaが希望するPyTorchネイティブの環境が整い、再び本番投入が実現した形だ。契約面では、2026年にGoogle Cloud TPUのレンタル、2027年に購入を含む複数年契約が報じられている。
SGLang-TorchTPUは今後DeepSeek V4.1 FlashやReflection Beamなどのモデルサポートを追加し、2027年第1四半期までに新しいオープンモデルへのDay 0 TPUサポート(リリース当日からTPU対応)を目指す。Google・Meta・開発元RadixArkは2026年11月12〜13日にサンフランシスコで開催される「SGLang Summit 2026」で詳細を共有する予定だ。
詳細はGoogle's TPUs for AI workloads now run in Meta's data centersを参照していただきたい。