11月8日、Tom's Hardwareが「Homelabber uses second-gen Optane memory sticks to run a 2.8-trillion-parameter AI model on CPU alone」と題した記事を公開した。廃番になったIntelの不揮発性メモリをかき集め、GPUを一切使わずに2.8兆パラメータのAIモデルを家庭用サーバーで動かす——そんな力技が実際に行われた。しかも「ファンを当てないと隣のRAMが焼ける」という熱問題まで抱えながら。廃番ハードと過熱との格闘という逆境感こそ、このプロジェクトの最大の読みどころだ。
廃番品でしか実現できない大容量メモリという前提
このプロジェクトを成立させている核心は、中古市場でしか手に入らない廃番ハードウェアの活用にある。Redditユーザーが使用したのは、Intelが2020年にリリースし現在は製造終了となった**Intel Optane Persistent Memory 200シリーズ（PMem 200）**と、第3世代Xeon Scalable（40コア）の組み合わせだ。
今回動作させたのは、Moonshot AIの2.8兆パラメータモデルで、コミュニティが公開している最小の量子化モデルでさえ最低610GBのRAMが必要だ。現在DRAMの価格は高騰しており、同等容量をDRAMで揃えるコストと比べると、Optaneは「ほんの一部のコスト」で済むとビルダーは述べている。Optane PMem 200は128GB・256GB・512GBの容量バリエーションがあり、DIMMスロットに直接差して大容量メモリとして使える点が、このユースケースに適している。
ホームラボで兆パラメータ規模のモデルを動かすには、今のところこうした廃番ハードウェアの再活用という形でしか現実的な手段がない。
Optane PMem 200とは何か
Optane PMem（Persistent Memory）は、DRAMとNANDフラッシュの中間に位置する不揮発性メモリ技術で、DIMMスロットに直接差して大容量メモリとして使える点が特徴だ。2ソケットXeonプラットフォームでは第1世代（PMem 100）より最大32%高いメモリ帯域幅を発揮できる。
動作モードは2種類ある。
- Memory Mode：OptaneをシステムメモリとしてDRAMをキャッシュに使う。第1世代Optaneを使った前回のビルドで採用された方式。
- App Direct Mode：Optaneをソフトウェアが直接マップできる独立した永続領域として扱う。今回のビルドで採用された方式。
前回ビルドの作成者であるu/APFriscoは「App Directの方がモデルのテンソルをどこに配置するか細かく制御できる」と述べており、今回のビルドはその実践例となっている。元記事が参照しているRedditスレッドでも、両モードのトレードオフについて活発な議論が行われている。
速度は遅い、熱は凶悪
推論速度は1ビット量子化で0.85トークン/秒、3ビット量子化では0.75トークン/秒まで低下する。あるコメント投稿者は「1トークン/秒ペースで5万トークンのタスクをこなすと約13時間かかる」と指摘した。一方、別のユーザーは「夜間バッチ処理なら速度はそこまで問題にならない」とフォローしている。
比較として、第1世代Optaneを使った前回のビルドでは、RTX 3060をモデルの一部処理に使い、Memory Modeと2ビット量子化、かつより小さい1兆パラメータのモデルを対象に、約4トークン/秒を達成していた。
また、今回の速度はスレッド数やNUMAアフィニティのチューニングを行う前の数値であり、最適化による改善の余地は残っている。ビルダーはGPUの追加や、頻繁にアクセスされる部分をDRAMに配置する階層構造も検討中で、「さらなるベンチマークを公開予定」としている。
熱問題も深刻だ。Optane DIMMは継続的な推論中に「極めて高温」になり、隣接するDRAMを破損させるリスクがあるとビルダーは警告している。
Intelの仕様では、Optaneモジュールは毎秒2.4〜2.7メートルの強制空冷を前提として設計されており、これはデータセンター環境を想定したものだ。各モジュールの消費電力は容量によらず12W〜15Wで、4枚差しなら最大60Wの熱が密集したDIMMスロット付近に発生する。サーマルスロットリングは83℃で、シャットダウンは85℃で発動する（一般的なDDR4サーバーメモリは85〜95℃まで耐えられる）。
ビルダーの対処法は、12Wのブロワーファン2基をOptane DIMMに直接当てるというものだ。「アクティブなDIMMの冷却は必須と考えよ」という忠告は、同様の構成を試みる人間には刺さる一言だろう。
逆境の先にあるもの
廃番品・過熱・低速という三重苦を抱えながらも、このプロジェクトが注目を集める理由は明快だ。数百万円規模のGPUクラスタなしに、兆パラメータ級モデルをホームラボで動かすという概念実証として成立しているからだ。Moonshot AIが推奨するデータセンター向け推論環境とはかけ離れた条件での動作は、ハードウェアの可能性とコミュニティの執念を同時に示している。
現時点では実用的な推論速度には程遠いが、ビルダー自身が「チューニング前の数値」と明言している点、そして夜間バッチ処理への言及は、このアプローチが純粋な実験で終わらない可能性を示唆している。
詳細はHomelabber uses second-gen Optane memory sticks to run a 2.8-trillion-parameter AI model on CPU aloneを参照していただきたい。
