7月10日、PYMNTSが「Palo Alto Networks CEO Says Token Costs Slow Enterprise AI Adoption」と題した記事を公開した。この記事では、Palo Alto NetworksのCEO Nikesh Aroraが、トークンコストの高さがエンタープライズにおけるAI大規模導入の最大の障壁になっていると指摘したことについて詳しく紹介されている。
「54%では足りない」──CEOが突きつけた数字
7月9日、Palo Alto NetworksのCEO Nikesh AroraはCNBCの「Squawk on the Street」に出演し、エンタープライズがAIを大規模展開するためにはトークンコストを今後12ヶ月で20%、その翌年までに90%削減する必要があると述べた。
番組内でOpenAI CEOのSam Altmanが「最新モデルはコーディングで54%効率化した」と発言したことへの見解を求められたAroraは、「54%は良いスタートだと思う。おそらくもう一段階必要だ」と答えた。現場の肌感覚としては、54%程度の改善ではまだ十分ではないという認識だ。
「トークンショック」は現実に起きている
この発言は、単なる将来予測ではない。すでに現場では予算超過が起きている。
代表例がUberだ。同社は2026年分のAI予算を4月の時点で使い切ったと報じられている。これを受けてCTOのPraveen Neppalli Nagaは「白紙に戻った(back to the drawing board)」と述べ、COOのAndrew Macdonaldは「トークンコストとエンジニア採用コストを直接比較して判断する」と明言した。AIへの支出がエンジニアリング人件費と天秤にかけられる時代に入ったことを示す発言だ。
コスト急増の背景にあるのがエージェント型コーディングツールの普及だ。通常のチャットボットは1ターンの会話で1回の推論呼び出しが発生するのに対し、エージェントセッションでは多数の推論呼び出しが連鎖的に発生する。LLMを使ったコード生成エージェント(GitHub CopilotやCursorのような製品を指す)を社内展開すると、単純なチャット利用と比べてトークン消費量が桁違いに増える構造だ。
なお、LLM推論の単価自体はここ数年で大幅に下落している。Anthropicの調査やOpenAIの価格改定履歴を見ると、主要モデルの推論コストは2023年以降で数分の一から数十分の一の水準にまで低下してきた。しかしエージェント型ワークフローの普及により、1ユーザー・1タスク当たりのトークン消費量そのものが急増しており、単価の低下を消費量の増加が上回る構図が生まれている。
企業が取り始めた対策
コスト上昇を受け、かつてAIツールの利用を積極的に奨励していた企業が軌道修正を始めている。現在取られている主な対策は以下のとおりだ。
- 使用量の上限(キャップ)を設定する
- タスクに応じて適切なモデルを使い分けるよう従業員に促す
- より古く安価なモデルへの切り替えを推奨する
- オープンソースモデルの採用を進める
また、より効率的なモデルと中国の低エネルギーコストを背景に低価格を実現している中国AIラボへの移行も選択肢として浮上している、と記事は指摘している。
エンタープライズはAI投資を続けるが、選別フェーズへ
PYMNTSのインテリジェンスレポート「The Enterprise AI Benchmark Report: Financial Services Pulls Ahead in the Enterprise AI Race」によれば、金融・保険、ヘルスケア、メディア・広告の各業界はAIへの投資を増やし続けている。一方で、どのプロジェクトに本格的な資本を投じるかの選別が始まっており、まだ効果の立証が必要なプロジェクトは一段階手前に置かれている状況だという。
「トークンコストを90%削減」という目標は一見すると高いハードルに映るが、過去数年のLLM推論コストの低下速度を踏まえると、現実的な射程にある。それでもAroraの発言は、現時点でのコスト水準が多くの企業にとって本格展開の手前で足踏みを強いるレベルであることを示している。エンタープライズAIは「使う/使わない」の議論から「どこまでコストを許容して何を自動化するか」という費用対効果の精査フェーズへと移行しつつある。
詳細はPalo Alto Networks CEO Says Token Costs Slow Enterprise AI Adoptionを参照していただきたい。