7月28日、Blocks & Filesが「Meta reinvents AI metadata flow and KV caching」と題した記事を公開した。MetaがAIワークロードにおけるデータ取り込み（インジェスチョン）の待ち時間を150分から10分へ、89時間かかっていたジョブを3時間強へと圧縮したストレージ基盤の刷新について詳しく伝えている。

ストレージがGPUの足を引っ張っている

MetaのEngineering Director Sidharth BajajとSW Development Engineer Venkatraghavan Srinivasanは、同社のドキュメント「AI Storage Blueprint at Scale」の中でこう述べている。「ストレージのボトルネックはAIワークロードにおけるGPUストールの主要因のひとつであり、コストと市場投入時間に直接影響している。」

AIコンピュートの性能は2年ごとに3倍になっているのに対し、ストレージの性能向上はその速度に追いつけていない。これがGPUを遊ばせる原因になっている。

Metaは、Facebook・Instagram・Reality Labs・Meta AI・広告・データウェアハウスなど、すべての内外製品を支えるストレージ基盤として数百のエクサバイト規模のクラスターを運用している。その基盤となるのがTectonicと呼ばれる水平スケーラブルなブロックストレージ層だ。イレイジャーコーディングによる高耐久性・高可用性を備え、HDD・フラッシュ間のティアリングやホット/コールドデータの配置最適化を担う。

核心：メタデータ取得の抜本的な再設計

最も面白いのはgetObject APIリクエストフローの再設計だ。

従来の構成では、APIサーバーがリクエストを受け取った後、namelayer・volumeslayer・containerlayerという複数のメタデータ層を順にルックアップしてから、ブロックID・オフセット・サイズのタプル列へとパスを解決していた。さらにAPIサーバー自身がTectonicからクライアントへデータをプロキシする構成になっており、これが高レイテンシの温床となっていた。

Metaのエンジニアたちはこれを根本から作り直した。複数層に分散していたメタデータを**ZippyDBをバックエンドとする統一フラットスキーマに集約**し、メタデータルックアップ回数を大幅に削減した。

さらにAPIサーバーによるプロキシを廃止し、代わりにTectonicのBlockClientを内包した「ファットクライアントSDK」を構築した。このSDKがストレージサーバーから直接バイトをストリーミングする構成になっている。また、GPUホストの空きメモリを分散データキャッシュとして活用することでホットトラフィックのスパイクを吸収し、分散データキャッシュの平均ヒット率80%、read-planキャッシュではメタデータへの1〜2msアクセスを実現した。

この再設計はクライアント側のヘッジドリード（複数ノードへの並行リクエストで遅延を吸収する手法）と動的並行数制御も組み合わせており、「新しいBLOBストレージスタックはGPUストールを引き起こさずにAIワークロードを提供できる」とエンジニアたちは述べている。

データ取り込みも劇的に短縮

もうひとつの柱がデータ取り込み（インジェスチョン）の改善だ。

研究者がBLOBストレージからGPUクラスターへ学習データセットのスナップショットを転送する際、従来は数時間かかることが常態化していた。データセットの特性が「一度書いて何度も読む（write-once, read-many）」であることに着目し、エンジニアたちはLinuxのページキャッシュ・L1/L2 CPUキャッシュの考え方を惑星規模のストレージに応用した。

具体的には以下のような階層型キャッシュアーキテクチャを構築した：

• L1キャッシュ：GPUホスト上のメモリ
• L2キャッシュ：GPUホスト上のフラッシュ（SSD）
• L3キャッシュ：フラッシュバックのリージョナルBLOBストレージファブリック
• ソース・オブ・トゥルース：HDD上のグローバルBLOBストレージ

その結果、従来150分かかっていたデータ取り込みが10分に短縮され、89時間要していたジョブが3時間強にまで圧縮された。

「ストレージのコストはGB単価だけで測るな」

アナリストのCitriniことJukan氏はX上でこう指摘している。

「従来、大容量ストレージは$/TBで評価されてきた。しかしデータの到着が遅くてGPUが遊んでしまうなら、無駄になったGPU時間のコストがストレージ節約分を上回ることもある。フラッシュの追加コストがGPUのアイドル削減量よりも安いなら、フラッシュを使うことは経済的に合理的だ。GPU隣接ストレージ層は$/TBだけでなく、有効GPU時間あたりのシステム総コストで評価されるべきだ。」

Metaの多層インジェスチョンアーキテクチャはNvidiaのKVキャッシュスキームと原理的には近いが、単一のAIファクトリー内ではなくリージョナルスケールで動作する点が異なる。

Jukan氏の指摘が示すとおり、今回の取り組みが業界に突きつけているのは「ストレージをコンピュートの従属リソースとして切り離して評価する時代は終わった」というメッセージだ。GPUがコスト構造の中心を占める現在、データ取り込みの遅延はそのままGPU稼働率の損失に直結する。Metaがハイパースケーラーとして自社でAPIスタックを書き直せたのは事実だが、この設計思想——すなわちストレージ評価軸を$/TBから「有効GPU時間あたりの総コスト」へ移行するという考え方——は、一般企業がGPUベンダーやストレージベンダーのKVキャッシュ機能を選定・評価する際にも直接応用できる視点である。

詳細はMeta reinvents AI metadata flow and KV cachingを参照していただきたい。