8月24日、Janakiram MSVが「Nvidia Beats AMD By Up To 5x On New AI Agent Benchmark」と題した記事を公開した。従来の固定長プロンプトベンチマークでは見えなかった「エージェントの実トラフィック」を再現すると、NvidiaとAMDの推論コスト効率に最大5倍、場合によっては20倍の差が生じる——MSVはSemiAnalysisの大規模実測レポートを軸に、この数字がどこから来るのか、そして調達担当者が何を確認すべきかを具体的に論じている。

ハードウェアの差ではなく、ソフトウェアの差

AgentXを公開したのはSemiAnalysisだ。従来のベンチマークが「固定長プロンプトに対する応答速度」を測るのに対し、AgentXは実際のコーディングエージェントのセッションログをリプレイするトレースリプレイヤーである。

SemiAnalysisは自社スタッフのClaude CodeおよびCodexリクエストをプロキシで傍受し、8,000セッション以上・6,100億トークンのコーパスを構築。v1.0のパブリックサブセットは393セッションをApache 2.0で公開している。そのトラフィックの「形状」が議論の核心だ。

• 中央値の入力長: 142,000トークン
• 中央値の出力長: 444トークン
• ターン間の中央値の待機時間: 3.84秒（エージェントがツール実行を待つ時間）
• 393セッション中175セッションでサブエージェントが少なくとも1つ生成

「AgentX」はこうした実トラフィックの分布をそのまま再現することで、「8,000トークン入力→1,000トークン出力」のような固定シーケンスベンチマークが見落としてきた性能特性を明らかにする設計になっている。

MSVはSemiAnalysisのこのアプローチを「ベンチマークのパラダイムシフト」と位置づけ、固定長ベンチマークに依存してきたGPU選定のプロセス自体を問い直す視点を提示している。

最大5倍、場合によっては20倍の差

オープンソースのSGLangでGLM-4系モデルを提供した構成において（※元記事ではモデル名を「GLM 5.3」と表記しているが、一般に流通するGLMシリーズとの対応関係は元記事を直接確認されたい）、SemiAnalysisはユーザー1人あたり毎秒150出力トークンの動作点で、NvidiaハードウェアがAMDに対して最大5倍の推論コスト効率を達成したと報告する。さらに踏み込んで、この動作点ではAMDのアクセラレータをゼロコストで提供しても、ホスティングと電力を加算すると1トークンあたりのコストはNvidiaを上回る、とも述べている。

B200対MI355Xの比較では、優位性はインタラクティビティに連動して変化する。ユーザー1人あたり毎秒108トークンで約57%の差、毎秒141トークンで247%の差だ。

SGLang上でQwen 3.5を同一条件で提供した場合、ユーザー1人あたり毎秒90トークンでNvidiaが20倍以上優位という数字も出ている。

コスト差がどこから来るか：KVキャッシュとトークナイザー

この差の機構は2つに集約される。

① KVキャッシュのヒット率

マルチターンのエージェントセッションでは、過去のKey-Value状態（KV state）が高帯域幅メモリ（HBM）に残っているかどうかが性能を左右する。DeepSeek V4を384同時セッションで提供した構成では、B300上のvLLMでHBMのヒット率**91%、ホストメモリからのさらなる1.36%**を記録した。B200では同条件で73%に落ち、ホストメモリへの依存が増えることで、ユーザー数のスケールとともにレイテンシが急悪化する。

② 境界認識型インクリメンタルトークナイゼーション

NvidiaのTensorRT-LLMは、会話履歴全体を再送する際に過去のトークン列を再トークナイズしない「境界認識型インクリメンタルトークナイゼーション」を実装している。Qwen 3.5のトレースで1,087回の全ターン遷移を検証したところ、1ターンあたりの平均処理時間が185.1ミリ秒から11.3ミリ秒に短縮された。固定長ベンチマークではこの恩恵は計測できない。

SemiAnalysisの主張を一言で言えば、Nvidiaの優位性の大部分はすでにシリコンの上層にある。カーネル、キャッシュ管理、ルーティング、スケジューリング——これらはファブリケーションサイクルより速く改善できる。

AMDの現状と「ATOM」の位置づけ

AMDも動いている。ATOMはAMDが提供する推論最適化スタックで、特定のモデル・レイテンシ帯では競争力を持つ区間が存在する。Kimi K3モデルのレイテンシ40〜60秒帯では、GB300 NVL72ラック（vLLM）に対して価格性能比で勝る区間が確認されている。DeepSeek V4でも、8月21日のInferActおよびNvidiaのアップストリームマージ前はSGLang上でMI355XがB200に並んでいた。

問題はATOMの採用実績の薄さだ。SemiAnalysisはATOMの本番採用がAlibaba傘下の広告部門1箇所にとどまり、Qwen本体のチームすら使っていないと指摘する。顧客にとって比較すべき現実のスタックはアップストリームのvLLMであり、そこではNvidiaが大きくリードしている。実際、vLLMの機能サポートマトリクスでは、長文脈が最も依存するコンテキスト並列パスのAMDバックエンドは「非サポート」扱いだ。

MSVはこの状況を「技術的なポテンシャルと、エコシステムの熟成度のギャップ」として整理しており、単純なシリコン性能比較では見えてこない調達リスクとして読者に提示している。

ベンチマークとしての限界も明示

SemiAnalysis自身がいくつかの制約を正直に開示している点は評価できる。

• 8月21日のアップストリームコミット1本でランキングが逆転した事例があり、「1週間で結果が変わるベンチマークはハードウェアよりソフトウェアの速度を測っている」と自ら述べている。1カ月以内の更新も予定済みだ。
• 匿名化されたハッシュブロックはリプレイ時に合成トークンで埋め直されるため、投機的デコードの受諾率が歪む
• トレースがコーディングハーネス由来であり、軽量なハーネスでは入力分布が異なる
• GoogleのTPUはマトリクス未掲載。NvidiaのRubin世代は2026年8月末、AMD MI455XとTPUは2026年後半に登場予定であり、現時点の比較はBlackwell対CDNA 4に限定される

調達担当者が確認すべき2つの指標

SemiAnalysisはベンチマーク外の実務的な提言も行っている。

1. プレフィックスヒット率：プロバイダーが本番並行数でどの程度のKVキャッシュヒット率を維持しているかを開示させる。ホストメモリ（DRAM）のオフロード層はHBMキャッシュ容量の1.5〜3倍が最適と述べている
2. セッションルーティング：プロバイダーがセッションをプレフィックスを保持するワーカーに固定しているか、ロードバランシングして毎ターン再プレフィールするかを確認する

「毎秒トークン数」という単一指標はセッション40ターン目の実態を何も語らない、というのがSemiAnalysisの立場であり、MSVもその視点を引き継いで「GPU選定の問いを立て直す」ことをこの記事の主眼に据えている。

詳細はNvidia Beats AMD By Up To 5x On New AI Agent Benchmarkを参照していただきたい。