10月23日、Latent Spaceが「Why AI Compute Comes in Rectangles」と題した記事を公開した。AIインフラ企業Modalの創業者Erik Bernhardssonが、GPUコンピュートの需要構造とエラスティックなサーバーレスインフラの経済学について詳しく論じている。

「矩形」が表すGPU契約の問題

タイトルにある「矩形（Rectangle）」は、一般的なGPUキャパシティ契約の構造を指している。

典型的な契約では、顧客は固定数のGPUを固定期間購入する。時間軸でキャパシティをプロットすると、グラフは文字通り長方形（矩形）になる。しかし実際のワークロードはこの形をしていない。需要は一日を通じて増減し、スパイクし、落ち込む。

この乖離がコストを生む。ピーク需要に合わせてGPUを確保すれば、オフピーク時にアイドル状態のハードウェアに金を払い続ける。少なく買えばピーク時に需要を取りこぼす。

ErikはModalのビジネスモデルをこの問題への回答として説明している。数千の顧客の需要を束ねてプールし、個々の顧客が必要なときに必要な分だけ使えるようにするという構造だ。銀行が預金を束ねて貸し出すのと似た「デュレーション変換」に近い発想である。顧客全体の需要の集計値が平滑化されるほど、そのプールの効率は上がる。

なお、サーバーレスGPUという市場カテゴリ自体は近年急速に拡大しており、CoreWeave、Lambda Labs、RunPodといった競合も同様のオンデマンド型GPU提供モデルを展開している。Modalはその中で、マルチテナントの需要集約とコールドスタート最適化に注力した開発者向けプラットフォームとして差別化を図っている。

Modalの現在地：ARR $1B、サンドボックス30億回

この対話は、ModalのSeries D調達の直後に行われたものだ。Erikによると、Modalは現在年間換算収益（ARR）が$10億を超えており、累計でほぼ30億のサンドボックスを起動している。

創業から現在まで、収益は「少なくとも50倍」（Erikの言葉）に成長したという。顧客にはRunway、Cognition（AIソフトウェアエンジニアDevinの開発元）、Sunoなどが名を連ねる。

サンドボックスの誤算——想定外の主力製品

Modalにとって特に興味深い成長の源泉が「サンドボックス」だ。これはコード実行用の分離された環境で、LLMが生成したコードを安全に走らせるために使われる。

ErikとCTO Akshat Bubnaがサンドボックスをローンチした当初、採用は低調で、チーム内で製品を廃止する議論が出るほどだったという。転機になったのがコーディングエージェント、バックグラウンドエージェント、そして強化学習（RL）の台頭だ。エージェントがコードを生成し→実行し→結果を確認し→また生成するというループを何度も回す用途で需要が急拡大した。

現在、サンドボックスはModalの収益の約3分の1を占めるに至っている。Erikは「ローンチ時には予測していなかった結果だ」と述べている。

エージェントが環境を作成し、コードを実行し、結果を検査して再試行するサイクルでは、環境の起動レイテンシがユーザー体験に直結する。ModalのサーバーレスGPUの技術ブログによると、この問題に対してModalは、利用可能GPUのバッファ、カスタムファイルシステム、プロセスのチェックポインティング、GPUメモリスナップショットを組み合わせて対処している。新しいモデルレプリカをオンラインにするまでの作業量を最小化する仕組みだ。

GPU価格下落リスクとModalの立ち位置

需要側の問題だけでなく、供給側にも固有のリスクがある。Erikが言及しているのはGPU価格の下落リスクだ。プロバイダーが現在の価格でキャパシティを長期ロックインした場合、後でGPU価格が下落すると、割高な供給を抱えることになる。

Erikは「価格の急落は近いうちには起きないと見ているが、その可能性を考慮してビジネスを構築することは重要だ」と語っている。

NVIDIAの代替についても言及があり、Modalは複数のハードウェアオプションを注視している。また、Modalのリソースソルバーは変動する価格と可用性をもとにキャパシティを動的に選択する仕組みを持つ。

Spotifyのレコメンデーションエンジンからの起点

Erikのバックグラウンドは、インフラへの執着の源泉を説明している。彼はSpotifyに2008〜2009年頃に入社し、7年間かけてRelated ArtistsやDiscover Weeklyを含む音楽レコメンデーションシステムをゼロから構築した。当時から行列分解（Matrix Factorization）など計算集約的な処理に向き合い、「インフラが機能しない」という痛みを体験していた。Modalはその体験から生まれたツールだという。

その後CTOを務めたBetter.com（モーゲージのフィンテック企業）では、エンジニアリングチームを数人から400人規模へ拡大する経験を積んだ。

エンジニアリングカルチャー：コードレビューは任意

最後に、社内体制についても触れている。Modalではコードレビューがオプション（任意）となっている。また、フォワードデプロイドエンジニア（顧客の現場に入り込んで技術支援を行う役割）を置いており、製品管理に対しても独自のアプローチをとっているとのことだ。

詳細はWhy AI Compute Comes in Rectanglesを参照していただきたい。