11月20日、AWSが「Using NVIDIA Run:ai GPU Fractioning on Amazon EKS」と題した記事を公開した。GPUインスタンスのコストは高く、メモリに余裕があるにもかかわらず1つのPodがGPU全体を占有し、他のPodが待ち続けるという非効率は多くのMLチームが直面する課題だ。この記事では、2026年10月13日にオープンソース化されたNVIDIA Run:aiの仕組みをAmazon EKS上で活用し、1枚のGPUを複数Podで共有しながらPod単位のメモリ上限を強制する構成を詳細なウォークスルー付きで紹介している。
なぜ今GPUフラクショニングなのか
GPUコストを抑えるためのGPU共有技術は以前から存在する。MIG(Multi-Instance GPU)はハードウェアレベルの分割、タイムスライシングはメモリ分離なしの共有、MPS(Multi-Process Service)はCUDAプロセスの同時実行を可能にする。しかしいずれも「各Podへのメモリ上限の強制」という点で不完全だった。
NVIDIA Run:aiのGPUフラクショニングはMPS上に構築され、Kubernetesスケジューリング統合・Pod単位のメモリ契約・強制・メトリクスを追加する。ノートブック、モデル評価、小規模な推論サービスなど、GPU全体を占有するほどではないワークロードが混在するチームにとって、コスト削減に直結する構成だ。
NVIDIA Run:aiは2026年10月13日にオープンソース化され、4つのモジュールコンポーネントで構成される。本記事のウォークスルーではそのうちKAI SchedulerとGPU Fractioning Operatorの2つを使用する。KAI SchedulerはKubernetesのスケジューリング層にGPUフラクション認識を追加し、GPU Fractioning OperatorはPodへのメモリ割り当て契約の実施を担う。オープンソース化により、商用ライセンスなしでこの2コンポーネントを本番環境に持ち込める点が、本ウォークスルーを現実的なものにしている背景でもある。
構成の概要
検証環境は以下の通りだ。
- リージョン: us-east-2(米国東部・オハイオ)
- GPUインスタンス:
g5.xlarge(NVIDIA A10G、VRAM 23,028 MiB) - システムノード:
m7i.large(オペレータコントローラおよびKAI Schedulerをホスト)
KAI Schedulerが両方のPodをtaintされたg5.xlarge上に配置し、各Podに8 GiBのGPUメモリ契約を付与する。検証では各Podが実際に6 GiBを確保できることを確認し、9 GiBの要求が拒否されることもテストする。
| コンポーネント | 検証済みバージョン |
|---|---|
| Amazon EKS | 1.36 |
| GPU | NVIDIA A10G, 23,028 MiB |
| NVIDIAドライバ / Container Toolkit | 615.71.10 / 1.20.1-1 |
| containerd | 2.3.5(NRI統合) |
| GPU Operator / device plugin | 26.7.1 / 0.20.1 |
| KAI Scheduler / Fractioning Operator | 0.18.5 / 0.1.7 |
ウォークスルーのポイント
カスタムAMIビルドが必要な理由
検証時点で、EKS最適化AL2023 NVIDIAイメージに含まれていたドライバはR580/R595ブランチだった。GPU Fractioning Operator v0.1.7はR615以降が必須のため、PackerでカスタムAL2023イメージを自前ビルドする必要がある。
git clone https://github.com/aws-samples/sample-code-for-gpu-fractioning-on-eks.git
cd sample-code-for-gpu-fractioning-on-eks
cp walkthrough.env.example walkthrough.env
chmod 600 walkthrough.env
設定ファイルwalkthrough.envの主要パラメータ:
AWS_REGION=us-east-2
CLUSTER_NAME=runai-fractioning-blog
EKS_VERSION=1.36
GPU_INSTANCE_TYPE=g5.xlarge
NVIDIA_DRIVER_VERSION=615.71.10
各ステップは./run.sh <stage>で個別実行できる。クリーンアップは必ず別アクションとして実施する設計になっている。
ベースライン:GPUフラクショニングなしの制約を確認する
フラクショニング導入前の状態では、nvidia.com/gpu: 1をリクエストする2つのPodは同一ノードで同時実行できない。片方がRunning、もう片方がPendingになる。
NAME READY STATUS NODE
whole-gpu-a 1/1 Running <gpu-node>
whole-gpu-b 0/1 Pending <none>
これが「GPUメモリに余裕があっても待たされる」という問題の実態だ。
フラクショニング後:2つのPodが同時稼働
KAI SchedulerとGPU Fractioning Operatorをインストール後、各Podにkai.scheduler.run.ai/gpu-fractionやnvidia.com/gpu-memory-limitといったアノテーション(NvFractionsアノテーション)でメモリ契約を設定する。NvFractionsアノテーションはGPU Fractioning Operatorが解釈するカスタムリソース指定で、Podがリクエストするメモリ上限をKubernetesのスケジューリングサイクル内で宣言するための仕組みだ。これにより、KAI Schedulerはメモリ契約を考慮したうえでPodをノードに配置できる。
検証では両Podが同時にRunningとなり、各Podが6 GiBのGPU割り当てを実際に確保できることを確認している。9 GiB(上限8 GiBを超える)の要求は拒否される。
GPU Operatorのインストール時には、カスタムAMIにドライバとツールキットが含まれているため以下の設定が必要だ:
driver:
enabled: false
toolkit:
enabled: false
注意点と選択指針
記事はGPU共有方式の選択基準も整理している。GPUフラクショニングを選ぶべきケースは、MIGを持たないGPUでPod単位のメモリ上限強制が必要で、固定サイズのGPUノードグループを運用できる場合に限られる。
また記事は明示的に「メモリ上限はフォールト分離やコンピュートパフォーマンスを保証しない」と述べており、過度な期待を戒めている。特に重要な制限として、メモリ上限があっても比例したコンピュート(CUDAコア時間)は予約されない点がある。同一GPU上で動作する別のPodがコンピュートを大量消費した場合、メモリ割り当ては守られていても処理速度が著しく低下する可能性がある。レイテンシ保証が必要なワークロードでは、この点を考慮したうえで採用を判断する必要がある。
Dynamic Resource Allocation(DRA)はKubernetesのデバイス要求・割当APIであり、KAI SchedulerとGPU Operatorはこれをサポートする。ただし本ウォークスルーでは、より広く普及しているNvFractionsアノテーション方式を採用しており、DRAは使用しない。DRAベースの構成は将来の選択肢として言及される形にとどまっている。
検証はg5.xlarge/A10Gの組み合わせのみで行われており、他のGPUを使う場合はNVIDIA GPU OperatorのハードウェアリストとGPU Fractioning Operatorの前提条件を個別に確認する必要がある。
詳細はUsing NVIDIA Run:ai GPU Fractioning on Amazon EKSを参照していただきたい。