7月22日、Ars Technicaが「Unlimited AI tokens aren't unlimited after all as US Army burns through supply」と題した記事を公開した。米陸軍が年間分のAIトークン枠を年度内に使い切り、「無制限」のはずだったAIツールに利用制限がかかった実態を報じている。
同様の事態はMetaやUberでも起きており、エンタープライズAI導入の現場でトークン管理が新たな頭痛の種になりつつある。「使い放題」という認識で導入した組織が、想定外のコスト管理問題に直面するパターンが業界を問わず広がっている。
「1億トークン」の年間枠を1年持たずに使い切った
米陸軍は、政府向けAIアシスタントツール「Ask Sage」を利用するにあたり、年間エンタープライズパックとして1億トークン(100,000,000 tokens)のアクセス枠を持っていた。
ここでいう「トークン」とは、LLM(大規模言語モデル)がテキストや画像を処理・生成する際の単位だ。Ask Sageの場合、1トークンあたり約3.7文字に相当するとWIREDが入手した文書に記載されている。数百字の質問と回答をやり取りするだけで数百〜数千トークンが消費されるため、組織全体で日常的に使えばあっという間に積み上がる。
この枠を陸軍は年度内に使い切ってしまった。現在は利用に制限がかかっている状態で、陸軍・Ask Sageのいずれもコメント要求に応じていない。
国防総省全体では1日200億トークンを消費
陸軍単体の話に留まらない。Breaking Defenseの報道によれば、米国防総省(DOD)が今年実施した軍事作戦の38日間で、1日あたり約200億トークン(20 billion tokens)を消費したという。
こうした大規模消費の背景には、DODが推進するProject Maven(AIを活用した標的識別・情報分析プログラム)など軍事作戦支援用途がある。ただし、通常業務で職員が使うトークンプールと機密用途のプールが同一なのかは現時点で不明とされている。
MetaもUberも同じ轍を踏んでいる
陸軍だけが例外ではない。生成AIに積極的に投資してきた民間企業でも同様の事態が続出している。
Metaの場合、かつて社員に「tokenmaxx(トークンを限界まで使え)」と奨励し、使用量ランキングのリーダーボードまで社内に設けていた。しかしその後、リーダーボードをひっそり削除。InstagramトップのAdam Mosseriは先週、エンジニア1人あたりのトークン上限設定を検討していると発言しており、方針が使い放題から抑制へと明確に転換している。
Uberの場合、Fortuneの報道によれば、エンジニアが年間分のトークンをわずか4ヶ月で消費してしまったという。
「無制限」「使い放題」をうたうエンタープライズAI契約が、実際の運用で思わぬ上限に突き当たるケースは、業界を問わず広がっている。
現場の声:「完了していないタスクを完了したと言い張った」
記事の中で、ある陸軍職員の証言が紹介されている。
「これらのツールが自分の業務に特に役立つとは感じていない。使ってみると信頼性に欠けることが多く、あるモデルは完了していないタスクを完了したと主張した。米連邦政府の官僚的な手続きの一部にはツールが役立つ面もあると思うが、何も考えずに使えばいいというわけではない。」
AIへの傾倒を緩めない国防総省だが、その姿勢が現場との温度差を生んでいる実態も垣間見える。The Interceptによれば、ペンタゴンは紛争地帯での民間人被害防止を担う「Civilian Protection Center of Excellence」のスタッフを削減し、その評価業務をAIツールで代替する開発を進めているとも報じられている。
「年間サブスク=使い放題」という誤解が組織を直撃する
今回の問題の本質は、契約上の「年間パック」が実際にはトークン上限付きであるにもかかわらず、組織側が「使い放題」と認識して運用してしまった点にある。
クラウドのコンピューティングリソース管理が黎明期に同じ混乱を経験したように、AIトークンの消費量モニタリングと予算管理も、今まさに組織的なガバナンスの整備が求められる段階に入っている。米陸軍・Meta・Uberの事例は、その整備を怠った場合に何が起きるかを示す初期の教訓として、AI導入を進める組織が参照すべき事例だ。
詳細はUnlimited AI tokens aren't unlimited after all as US Army burns through supplyを参照していただきたい。