10月23日、SiliconAngleが「Hybrid infrastructure costs push AI inference to the edge」と題した記事を公開した。この記事では、AI推論コストの急騰がハイブリッドインフラの設計判断を変え、推論処理をエッジへ押し出しつつある構造変化について詳しく紹介されている。
トークンコストの爆発が意思決定を変えている
エンタープライズAIの世界で今、コスト圧力が設計判断を根本から変えつつある。Dell TechnologiesのセールスSVPであるKyle Dufresneが語った数字が象徴的だ。
「3ヶ月前はトークンの80%がフロンティアモデル（GPT-4やClaudeのような最先端クローズドモデル）から生成されていた。3ヶ月後の今、トークンの80%はオープンモデルから生成されている」
ただし、これはDufresne氏個人の観察・発言であり、業界全体を対象とした第三者調査や統計的裏付けが示されているわけではない点は留意が必要だ。それでも、Dell規模のベンダーが顧客動向として体感しているという事実は、エンタープライズAI市場の空気感を示すものとして重みがある。
理由はシンプルにコストだ。この急激な移行はトークノミクス（tokenomics：AI利用のコスト構造を指す業界用語）の議論として広がっており、CFOレベルまで話題が上がるようになっている。
なお、ここで言う「オープンモデル」とは、MetaのLLaMA系列やMistral AIのMistral・Mixtralのように、モデルの重みが公開・配布されており、自社インフラ上でホスティングできるモデル群を指す。クローズドAPIへのアクセス料が不要なため、大規模に推論を回すほどコスト差が顕在化しやすい。MetaやMistral AIといったプレイヤーが積極的にオープンモデルをリリースし続けていることが、この移行を技術的に可能にしている背景にある（参考：Meta LLaMA公式、Mistral AI公式）。
推論処理はどこで走らせるべきか
AI処理のコスト問題には、「どこで推論を実行するか」という設計上の問いが直結する。元記事によれば、推論（inference）はすでにトレーニング（training）よりも速く成長しており、実行場所はクラウド・データセンター・PCへと分散している。
Dufresneは現場の声をこう伝えている。
"We're seeing the business owners saying, 'Oh my gosh, these costs are getting really high for inferencing. How do we reduce those costs without curbing innovation?'"
注目すべきは「イノベーションを止めずにコストを下げる」という条件だ。削減策として浮上しているのがエッジでの推論実行であり、Dellはこれが「far edge（最遠端のエッジ：工場・店舗・車両など、データセンターから最も遠い末端の現場機器までを指す概念）」、つまりPCや現場機器レベルまで広がっていると見ている。
また、推論場所の選択はコストだけでなくデータ主権・競争優位性の問題でもある。クラウドベンダーに推論を委ねることは、自社データと差別化要因の外部委託を意味するとDufresneは指摘する。
供給制約がさらに話を複雑にする
コスト問題を一層難しくしているのが、メモリ市場の需給ギャップだ。
- 来年のメモリ供給増加：約20%
- 需要の増加予測：約200%
この非対称性がメモリ価格を押し上げており、「技術コストは下がる」という従来の前提が通用しなくなっている。Dellは顧客に対して調達の前倒しを勧めており、コスト上昇の見通しを事前共有することで、顧客が資本コスト（cost of capital）vs コンポーネント価格上昇を自分で判断できるよう支援しているという。
調達戦略の観点では、「今買う」vs「様子を見る」の判断軸が変わってきている点は、インフラ担当者にとって実務的な示唆がある。
Dell AI Factoryの現状
DellはNvidiaとの協業によるAI Factoryの最新アップデートを展開中で、すでに6,500社以上のエンタープライズがこのプラットフォームを採用している。戦略の核心は「顧客がコントロールできるインフラ上で成果を出せるようにする」点に置かれており、クラウド一択ではなくハイブリッド構成を前提とした設計になっている。
まとめ
フロンティアモデルからオープンモデルへの急激なシフト、推論処理のエッジへの移行、メモリ需給の逼迫——この3つが重なる今、AIインフラの調達・設計判断はかつてないほど複雑になっている。「どのモデルを使うか」「どこで動かすか」「データをどこに置くか」という3軸がコストと制御の両面で直結している状況だ。
特に注目すべきは、オープンモデルへの移行が単なるコスト削減の話にとどまらず、データ主権や差別化の文脈とも絡み合っている点だ。LLaMAやMistralのようなモデルを自社インフラで動かすことは、ベンダーロックインのリスクを下げる選択肢でもある。一方でモデル運用・インフラ管理の内製コストが発生するトレードオフもあり、「コストが安い＝最適解」とは単純に言い切れない。エンタープライズとしては、自社のユースケースとデータの機密性、運用体制を踏まえた上で、クラウドAPIとオープンモデルホスティングの使い分けを設計する段階に入っている。関連動向としては、Hugging Faceのオープンモデルランキング（Open LLM Leaderboard）なども参照すると、実際に選択肢となるモデルの全体像をつかみやすい。
詳細はHybrid infrastructure costs push AI inference to the edgeを参照していただきたい。
