7月30日、Los Angeles Timesが「Workplaces look for cheaper AI as 'tokenmaxxing' fades as a corporate fad」と題した記事を公開した。開発者1人あたり月200ドルのトークンコストが2万人規模になれば月400万ドルになり、しかもそのコストがほぼ隔月で倍増している——そんな現実に直面した企業がAI活用の方針を急転換しつつある実態を報じている。
「トークンマクシング」とは何か
トークン（token）とは、生成AIが読み書きする際の基本単位で、英語テキストではおおよそ0.75語に相当する（なお日本語など多バイト言語では文字あたりのトークン数が異なり、同じ文字数でもより多くのトークンを消費する場合がある）。ChatGPTやClaudeといったAI製品はトークン単位で課金されており、より高機能なプランほど上限が引き上げられる。
「トークンマクシング（tokenmaxxing）」とは、AIが生成できるトークン量を最大化し、できる限り多くの作業をAIに肩代わりさせようとする戦略だ。今年春ごろまで、シリコンバレーの幹部たちはこれを高パフォーマンスの証として推奨していた。
NvidiaのCEO ジェンスン・フアン氏は「年収50万ドルのエンジニアが25万ドル分のトークンを消費していないなら、何かがおかしい」と発言。OpenAIのCEO サム・アルトマン氏も5月に「トークンマクシングスタートアップが何を生み出すか楽しみだ」とコメントし、MetaはトークンUsageを競う社内コンペを開催した。この流れはAnthropicやOpenAIの売上を押し上げた。
コストだけが積み上がった
しかし夏になると、反動が顕在化し始めた。
Moody's RatingsのAIアナリティクス部門責任者Vincent Gusdorf氏はこう語る。「AIを使えば使うほど良いという発想で、必要のないものを簡単に作り出してしまう。請求額が積み上がると、これらのツールがいかに高くつくかに気づき始めた」。
Bain & Companyのコンサルタント、Jue Wang氏が示した数字は具体的だ。「開発者1人あたり月200ドルのトークンコストも、2万人規模になれば月400万ドルになる。どの事業部長も計画していなかった支出だ」。さらに、こうしたコストがほぼ隔月で倍増しているという。
PalantirのCEO アレックス・カープ氏はCNBCでより強い言葉を使った。「米国企業の本音は『トークンに大金を払って、価値はゼロ、しかも自社の知的財産を抜き取られる』というものだ」。
MicrosoftのCEO サティア・ナデラ氏も最近のブログ投稿で、トークンマクシングは「中毒性がある」と認めつつ、ユーザーはトークン料金を払うだけでなく、自社の機密データをAIプロバイダーに渡すという「二重のコスト」を負っていると警告した。主要AIプロバイダーのデータ保護について疑問を呈するのは、競合関係上異例の発言だ。
企業が向かう先：「モデルルーティング」と安価なOSS
コスト問題への対応として注目されているのが、AIモデルルーティングだ。簡単なクエリは安価で効率的なモデルへ、複雑なタスクは高性能モデルへと自動振り分けする仕組みを指す。
Wang氏は「ソフトウェアエンジニアリングや深いリサーチに向いたAnthropicの高性能モデルを、メール生成にまで使っているユーザーがいかに多いか」と指摘する。「すべての作業に最高スペックのモデルは必要ない」。
※編集部の考察：Anthropicのモデルラインナップは変動が激しく、記事中で言及されているモデル名が公開時点で最上位に該当するかどうかは、Anthropicの公式ドキュメントで随時確認することを推奨する。
もう一つの流れは、中国発のオープンソースモデルへのシフトだ。MoonshotのKimiやZhipuのGLMは、米国トップモデルに近い性能をはるかに低コストで提供しているとされる。Together AIの開発者体験部門を率いるHassan El Mghari氏は、米国製AIへの多額のサブスクリプション料への反発が、社員に使い方を任せる方向への転換を促していると語る。
「コード行数」の失敗を繰り返すな
MozillaのCTO Raffi Krikorian氏は、この流れを歴史的なパターンで説明する。「かつてソフトウェア業界は、プログラマーのコード行数を生産性の指標にしていた。それが後に廃れたのと同じ道を、トークンマクシングはたどっている。1年後には笑い話になるだろう」。
エンジニア側の視点で見れば、問題はAI活用の否定ではなく「何にどのモデルを使うかの設計」に帰着する。高価なモデルを全タスクにデフォルト使用するアーキテクチャ選択が、そのまま組織の固定費として跳ね返ってくる構図だ。春先の著名人発言に乗じて社内展開を急いだ企業ほど、今まさにその設計判断のツケを払わされている。
詳細はWorkplaces look for cheaper AI as 'tokenmaxxing' fades as a corporate fadを参照していただきたい。
