10月23日、Latent Spaceが「Why AI Compute Comes in Rectangles」と題した記事を公開した。AIインフラ企業Modalの創業者兼CEOであるErik Bernhardssonへのインタビューを通じ、GPUクラウドの需要構造とModalのアーキテクチャ・成長の背景が詳しく語られている。
「廃止を議論していた」機能が、今や売上の3分の1を占める
Modalには大きく2つのプロダクトがある。Functions（任意のコードをサーバーレスで実行）と、Sandboxes（分離された実行環境）だ。
Sandboxesの誕生のきっかけは、LLMがコードを生成できるようになったことだった。「生成されたコードを誰かが実行しなければならない」という観察から、ErikとCTOのAkshat Bubnaが開発を始めた。
ところが初期の採用は低調で、Erikが明かすところによれば、チーム内でSandboxesの廃止を議論するほどだった。その後、状況が一変する。コーディングエージェント、バックグラウンドエージェント、強化学習（RL）といった新しいワークロードが登場し、「コードを実行できる隔離環境」への需要が急拡大した。
現在、SandboxesはModalの売上のおよそ3分の1を占めるとErikは語っている。ローンチ時点では予測していなかった結果だ。
AIエージェントがSandboxを使う典型的なパターンは「環境を作成→コードを実行→結果を検査→修正して再実行」というループだ。これを何度も繰り返すため、環境の起動レイテンシがそのままUXに直結する。従来の「開発者体験」から「エージェント体験」へのシフトが、インフラ要件を根本から変えつつある。
「矩形のGPU契約」という根本的なミスマッチ
タイトルの「Why AI Compute Comes in Rectangles」が指すのは、GPU容量契約の構造的な問題だ。
一般的な容量契約は、固定台数のGPUを固定期間で提供するという形を取る。グラフに描けば文字通り「矩形（長方形）」になる。しかし実際のワークロードはそうではない。日中に需要が急増し、夜間は落ち込み、特定のイベントでスパイクする。ピーク需要に合わせてGPUを調達すれば、アイドル状態のハードウェアにカネを払い続けることになる。少なめに買えば、需要を取りこぼす。
ErikはModalのアプローチを「デュレーション変換」と表現する。数千の顧客にまたがる需要を集約し、その下でキャパシティを確保する。集約された需要が平滑化されるほど、プールの効率は上がる。個々の顧客は、必要なときに必要な分だけ使えばいい。
このモデルはサーバーレスGPU市場全体で注目されつつあるアプローチでもある。ただしリスクもある。今日の価格でキャパシティを抑えておいて、後でGPU価格が下落したら、高コストの在庫を抱えることになる。Erikはすぐに崩壊するとは思っていないとしつつも、ビジネスを構築するうえでこの可能性を無視できないとしている。
高速起動を支える仕組み
弾力的なスケーリングは、キャパシティが間に合う速さで届かなければ意味がない。
ModalのサーバーレスGPUの技術解説によれば、以下の仕組みが組み合わさっている：
- GPUのバッファプール：常に一定数のGPUをウォームな状態で待機
- カスタムファイルシステム：モデルやコードの転送を最小化
- プロセスチェックポイント：実行状態を保存・復元
- GPUメモリスナップショット：モデルのロード時間を短縮
これらが組み合わさることで、新しいモデルレプリカをオンラインにする際のオーバーヘッドを削減している。Sandboxesの起動レイテンシが競争優位の核心にある以上、この技術基盤への投資はプロダクト戦略と直結している。
Spotifyの推薦システムからModalへ
Erikのキャリアは、2008年頃にSpotifyに入社し、Related ArtistsやDiscover Weeklyといった音楽推薦機能を一から構築したところから始まる。行列分解（Matrix Factorization）など計算集約的な手法を扱い続けた7年間が、「AIアプリを動かすためのインフラが不十分だ」という確信につながった。
その後、住宅ローン会社Better.comのCTOを5年間務めた後、Modalを立ち上げた。記事によれば、アイデアを試し始めたのは2021年、ChatGPTの登場より1年以上前だ。最初は汎用のクラウドコード実行基盤として開発を進め、生成AI需要の拡大とともにGPUワークロードへと軸足が移っていった。
現在地：年間10億ドルARR、評価額160億ドル
Modalは直近のSeries DでValuation 160億ドル、調達額7億5,000万ドルを達成。年間換算売上高（ARR）は10億ドルを超えたと報告している。サンドボックスの起動実績は累計30億近くに達している。
インタビューではほかにも、コードレビューが任意というエンジニアリングカルチャーや、顧客先に常駐してプロダクト開発を支援するForward-deployed Engineers（FDE）の役割なども語られている。
詳細はWhy AI Compute Comes in Rectanglesを参照していただきたい。
