8月11日、Computer Weeklyが「Why the next AI race will be won at the inference layer」と題した記事を公開した。エンタープライズAIが本番運用に移行するにつれ、多くの企業が「パイロット段階では見えなかった請求書」に直面している。次の競争優位はモデルの大きさではなく、推論レイヤーでいかにコストを制御するかに移っているという論点を、UAE拠点のAIインフラ企業Core42のレポートと同社幹部のコメントをもとに掘り下げた内容だ。

「最大のモデル」より「最適な配置」の時代へ

Core42が公開したレポート「Efficiency wins the inference era」は、次の競争優位が「最大のモデルを最速のハードウェアで動かすこと」ではなく、ワークロードごとに最適なモデル・アクセラレータ・デプロイ環境を動的に組み合わせることから生まれると主張している。

単一のハードウェアエコシステムや、とにかく大きなモデルに頼るアプローチは、インフラコストを大幅に押し上げながら全体的なパフォーマンスを下げるリスクがある。この問題意識自体は業界でも広く共有されており、AnyscaleやTogether AIといった推論最適化プラットフォームが台頭してきた背景にも、同様のコスト圧力がある。Core42のレポートはその文脈の中で、特にエージェントAIへの移行を次のコスト爆発の引き金として強調している点が特徴的だ。

エージェントAIがコスト構造を根本から変える

この問題がより深刻になるのが、エージェントAIの普及だ。

従来のAIアプリケーションでは、ユーザーの1リクエストに対して推論イベントも基本的に1回だった。しかし自律型AIエージェント（人間の指示を受けて自律的にタスクを計画・実行するAIシステム）は、処理の過程で外部ツールへのアクセスやマルチステップのワークフロー実行を行い、1リクエストあたり複数のモデル呼び出しを発生させる。

Core42のChief Product and Technology OfficerであるRaghu Chakravarthi氏はこう指摘する。

「消費量はヘッドカウント（利用人数）ではなく、自律性にスケールし始める。これがまさに、パイロット段階で誰も見積もっていなかった規模の請求書を生む構造だ。」

計画の失敗パターンとして同氏が挙げるのは、ユーザー数ベースのキャパシティ試算だ。「一握りのユーザーでは軽微に見えたPoC（概念実証）も、エージェントがスケールでマルチステップのワークフローを回し始めると、コストは急速に膨らむ」とChakravarthi氏は述べている。

さらに、ガバナンスやコスト管理をデプロイ後に追加しようとする先送りの罠についても警告する。「支出上限・予算・アラート・ルーティングロジックは『あとで追加するもの』として扱われがちだが、その時点では消費量がすでに複利的に積み上がっている。」

「マルチシリコン・ルーティング」という設計思想

Core42が提唱するのは、インフラ選択をAIオーケストレーションの一部として能動的に機能させるアーキテクチャだ。

マルチシリコン・ルーティングとは、NvidiaのGPUだけに依存するのではなく、AMD・Qualcomm・Cerebrasなど異なるアーキテクチャのアクセラレータ（AI処理に特化した演算チップ）を束ね、ワークロードの性質に応じて最適なシリコンへ動的に振り分ける設計思想を指す。ハードウェアの多様性を「調達上の煩雑さ」ではなく「コスト最適化の手段」として活用する発想だ。

ワークロードの性質はさまざまである。インタラクティブなコパイロットは極めて低いレイテンシを必要とする一方、文書の要約・インデックス化・分類処理はスループットとリソース効率を優先する。多くのルーティンタスクは小規模モデルで十分対応でき、高度な推論能力が本当に必要な場面にだけフロンティアモデルを投入すればよい。

「マルチシリコン・ルーティングにより、インフラはワークロード配置の意思決定になる。推論時代の効率とは、ハードウェアの多様性を調達上の不便としてではなく、経済的な資産として扱うことだ。」（Chakravarthi氏）

Core42のプラットフォーム「Compass」は、60以上のオープン・プロプライエタリなAIモデルにワークロードをルーティングし、Nvidia、AMD、Qualcomm、Cerebrasといった複数のアクセラレータアーキテクチャに対応している。ルーティング判断はレイテンシ感度、スループット要件、ガバナンスポリシー、コストを総合的に考慮して行われる。

本番運用での実績と効率指標

Compassはすでに本番スケールで稼働しており、週あたり700万件以上のAPIリクエストと1,000億トークン以上を処理、可用性コミットメントは**99.5%**だとされている。

最速の推論パスであるCerebras経由では最大20倍のスループット向上を報告しているが、Chakravarthi氏はこれをそのままコスト削減と解釈しないよう注意を促す。主な効果は、各ビジネスタスクあたりに消費するプレミアムコンピュートの量を減らすことにある。

効率の評価指標として同社が採用しているのは「tokens per second per dollar（1ドルあたりの毎秒トークン数）」だ。生のモデル性能だけに着目するのではなく、パフォーマンスと運用コストのバランスを反映した指標である。

ガバナンスを「後付け」にしない設計

規制対応が厳しい政府・金融・医療セクターにとって、ガバナンスをプラットフォーム設計の後から組み込もうとすると、データフローの再構築や別個の監視システムの導入が必要になる。

Chakravarthi氏は、ガバナンスとワークロード最適化を統合することで、これらを競合する優先事項として扱う必要がなくなると主張する。

「財務チームに対してどの部門がコストを発生させたかを示す同じオブザーバビリティが、ガバナンスチームに対してどのモデルが使われ、どこでリクエストが処理され、どのポリシーの下で行われたかを示すことができる。」

また、ソブリンインフラ（自国や自組織の管轄内でデータ主権を保持しながら運用するAIインフラ。特に政府機関や規制産業で重視される概念）を最初から設計に組み込む重要性も強調している。ただし「ソブリン・プラットフォームであっても多様なシリコンと幅広いモデルライブラリを提供しなければならない。そうでなければ、単にあるロックインを別のロックインに置き換えるだけだ」と釘を刺している。

詳細はWhy the next AI race will be won at the inference layerを参照していただきたい。