10月31日、NVIDIA Developerが「Run AI Models for Edge Application Development with Just a Few Commands」と題した記事を公開した。数コマンドで推論環境を整え、生成速度を最大1.7倍に引き上げる投機的デコーディングを手軽に有効化できる——エッジAI開発のセットアップコストをここまで下げる仕組みが、TensorRT Edge-LLMとそのCLIツールtrtedgeだ。

モデルのダウンロード、エンジンのビルド、APIサーバーの立ち上げ——推論環境をゼロから整備するのは手間がかかる。NVIDIAはこの一連の作業をtrtedgeコマンドで束ね、開発者が推論インフラではなくアプリケーションロジックに集中できる体験を目指している。

対象プラットフォームはNVIDIA DGX Spark（64GB構成）。開発機としてDGX Sparkでプロトタイピング・ファインチューニング・テストを行い、本番環境ではNVIDIA Jetson Thor、NVIDIA DRIVE AGX Thor、NVIDIA IGX Thorといったエッジ向けプラットフォームに同じ推論フレームワークをそのまま展開できる設計だ。開発環境と本番環境で推論スタックを統一できることは、再現性の確保やデバッグコストの削減につながる。

TensorRT LLMがデータセンター向けの大規模推論最適化を主眼としているのに対し、TensorRT Edge-LLMはエッジデバイスの電力・メモリ制約を前提とした設計になっており、Jetsonエコシステムとの親和性が高い点が特徴だ。

セットアップ：4コマンドで完了

必要な環境は CUDA 13、TensorRT 10.16.1.11以上（10.x系）、Python 3.10〜3.12。仮想環境を作成してTensorRT Edge-LLMをインストールするだけで準備は終わる。

python3 -m venv --system-site-packages .venv-edgellm
source .venv-edgellm/bin/activate
python -m pip install --upgrade pip
python -m pip install "tensorrt-edgellm[server]==0.11.1"

--system-site-packagesオプションにより、システム側にインストール済みのTensorRTバインディングをそのまま流用できる点が実用的だ。

チャットとAPIサーバーの起動

環境が整ったら、以下1コマンドでモデルのダウンロードからエンジンビルド、チャット起動まで一気に実行される。

trtedge chat nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

初回はモデルのダウンロード（約21GB）とTensorRTエンジンのビルドが走る。ビルド済みエンジンは~/.cache/tensorrt-edgellmにキャッシュされ、2回目以降は再利用される。

モデルはNVIDIA Nemotron-3.5 Lightning（30Bパラメータ、NVFP4量子化のテキストモデル）。チュートリアルではConvert 25°C to Fahrenheit. Answer in one sentence.というプロンプトで動作確認している。

アプリケーション開発向けには、OpenAI互換のAPIサーバーとして起動する方法も用意されている。

trtedge serve nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 \
  --host 127.0.0.1 \
  --port 8000

サーバーが立ち上がれば、/v1/chat/completionsエンドポイントにcurlやOpenAIクライアントライブラリで直接リクエストを投げられる。既存のOpenAI互換ツールチェーンをそのまま流用できるのは開発効率の面で大きい。

DGX Spark Speculative Decodingで生成速度を引き上げる

記事で最も注目すべき数字が、DGX Spark Speculative Decoding（投機的デコーディング）の効果だ。元記事では"method": "dspark"と表記されており、DGX Spark向けに最適化された投機的デコーディングの実装を指す。

投機的デコーディングとは、小さなドラフトモデルが複数トークンを先読みし、メインモデルがそれをまとめて検証することで1パスあたりの処理量を増やす手法だ。品質を落とさずにスループットを上げられる。TensorRT LLMにおける投機的デコーディングの解説も公式ドキュメントで参照できる。

有効化は--speculative-configオプションを追加するだけだ：

trtedge serve nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 \
  --host 127.0.0.1 \
  --port 8000 \
  --speculative-config '{
    "method": "dspark",
    "model": "nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark",
    "num_speculative_tokens": 3
  }'

DGX Spark 64GBでの実測値は以下の通り（バッチサイズ1、128トークン出力、ストリーミング1並列）：

初回レスポンスまでの時間（TTFT）はほぼ変わらないまま、生成速度は最大約1.7倍（HumanEvalで73.4→126.9 tokens/s）に向上している。DSpark有効時のピークメモリ使用量はOS込みで27.9GBに収まっており、64GB構成のDGX Sparkであれば十分な余裕がある。

対応モデルの広がりとエッジ展開の意義

チュートリアルではテキストモデルのNemotron-3.5 Lightningを使用しているが、対応モデルリストには画像・映像を扱うVision-Language Model（VLM）、音声認識、テキスト音声変換モデルも含まれる。エッジでのマルチモーダル推論を想定した構成になっている。

テキスト・画像・音声を組み合わせたパイプラインをエッジデバイス上で完結させたいユースケース——例えばロボティクスや車載システム——において、複数モダリティを統一ツールチェーンで扱えることは実装上の大きな利点だ。また、DGX Sparkで開発したエンジンをそのままJetson ThorやIGX Thorに持ち込める設計は、クラウドと異なるエッジ特有の「デプロイの再現性」問題を緩和する。オフライン環境や低レイテンシが求められる産業用途では、この一貫性が特に重要になる。

詳細はRun AI Models for Edge Application Development with Just a Few Commandsを参照していただきたい。