7月15日、The Atlanticが「Generative AI Is an Engineering Disaster」と題した記事を公開した。生成AIが根本的なスケーリング問題を抱えたまま大規模展開され、メモリ不足や電力逼迫など深刻なコストを社会全体に転嫁している実態を、業界内部への取材をもとに詳しく論じている。

問題の本質：LLMは「二乗スケール」する

コンピュータサイエンスの基礎として、「良いソフトウェアは対数的にスケールする」という原則がある。ユーザー数や入力が増えるほど、1件あたりの処理コストが下がっていく設計だ。Uber、Spotify、Instagramといったサービスがそれを体現している。

ところが大規模言語モデル（LLM）はその逆で、処理するテキストが増えるほど時間もメモリも二乗で膨れ上がる（quadratic scaling）。コンピュータサイエンスの学生なら誰でも「最悪の部類」と即答する特性だ。

モデルのサイズ自体も問題を加速させている。GPT-3が登場した2020年時点でパラメータ数は1750億だったが、独立した推計によれば現在は1兆を超える。規模を2倍にするたびに性能の改善幅は縮小するため、同じペースの進歩を維持するだけでも規模の拡大を加速しなければならない——典型的な収穫逓減に陥っている。

AI研究者への取材で、筆者は「これほどスケーリングが悪いリアルワールドのソフトウェアを他に挙げられるか」と問いかけた。誰も答えられなかったという。電球、自動車、衣類を安価にした「規模の経済」の原則と真逆を行く生成AIは、「経済的・工学的に見て、これまで実用化された中で最悪の技術かもしれない」と記事は断じる。

Epoch AIが公開したグラフ（記事内に掲載）は、複数のモデルで「処理トークン数」と「コスト」が指数関数的に増大していく様子を示している。

メモリが消えていく

記事が指摘する被害は、AIエンジニア界隈の内部問題にとどまらない。AI企業によるメモリ大量調達が、一般ユーザーの手元にまで波及しているという。

世界の高性能メモリの70%がAI企業に購入されている（WSJ報道）。その結果、筆者が取材用に2年前に350ドルで購入したHDDは、2週間前の時点で800ドルになり、今や在庫切れだという。一部のノートPCは価格が最大50%上昇し、Gartnerの予測によれば「エントリー向けの低価格PCは2028年までに消滅する可能性がある」とされる。

データセンターの拡張も凄まじい。今後数年でアメリカのデータセンター総容量を8倍にする計画が進んでいる。電力需要があまりに大きいため、ジェットエンジンを転用して電源とする企業まで現れているとも記事は伝えているが、具体的な社名は明示されていない。

なぜ誰も止めないのか

OpenAIの共同創業者でもある元チーフサイエンティストのIlya Sutskeverは、力押しアプローチが続く理由を「リスクの低い資源投入方法だから」と説明する。巨大な評価額がつく製品を根本から作り直す研究に資金を振り向けるのは、投資家にとって合理的でないという論理だ。

一方で、記事に登場するMicrosoftのAI研究者Alexia Jolicoeur-Martineau氏は、現状を「少し正気の沙汰ではない（a bit insane）」と評している。彼女は2025年に、巨大な計算資源を必要としない「タイニー再帰モデル」に関する論文で5万ドルの賞金を獲得した。

※編集部の考察：元記事では「タイニー再帰モデル」がLLMの代替ではなく特定領域に特化したアプローチとして紹介されているとみられるが、GitHubへの言及など詳細の出典は元記事の範囲で確認が必要な箇所があるため、ここでは元記事に明示された情報のみを記載している。

「効率化」はどこへ行ったのか

効率化の試みがないわけではない。AnthropicのCEO Dario Amodeiは「コンピュート乗数（compute multipliers）」と呼ぶ改善手法に言及しているが、記事によればその詳細は常に曖昧なままで、二乗スケーリングとモデル肥大化という根本問題が解決された証拠はない。Anthropicは取材に対してノーコメントだった。

一方でMoore's Lawの鈍化も逆風だ。半導体の微細化は分子レベルの物理的限界に近づいており、AI向けの新ハードウェアが開発されているものの、AIの指数関数的な需要増に追いつけていない。

WindowsやmacOSへのLLM統合、PhotoshopやWordへの組み込みも進んでいる。普通のPCを動かすだけでも以前より高い処理能力が必要になっているという皮肉な状況が生じている。

「信仰」の問題

記事の末尾は厳しい。LLMが知性を宿す可能性があるとする見方をシリコンバレーの「準宗教的な確信」と表現し、AIの「父」の一人であるYann LeCunでさえ「LLMは超知性どころか人間レベルの知性への道でもない」とニューヨーク・タイムズに語ったと指摘する。

それでも多くのエンジニアは、AIの可能性という神話に引き寄せられ、効率的なソフトウェアを書くという基本すら後回しにしている、というのが記事の結論だ。

詳細はGenerative AI Is an Engineering Disasterを参照していただきたい。