7月17日、MarkTechPostが「NVIDIA AI Releases Nemotron 3 Embed: An Open Embedding Collection Whose 8B Checkpoint Ranks #1 on RTEB」と題した記事を公開した。NVIDIAの新しい埋め込みモデルコレクション「Nemotron 3 Embed」の8Bモデルが、RAG特化ベンチマーク「RTEB」の全モデル中総合1位を獲得した。RAGやエージェント型検索の実装を検討している開発者にとって、今すぐ注目すべきリリースだ。

RTEBで1位：Nemotron-3-Embed-8B-BF16の実力

NVIDIAは、RAGやエージェント型検索、コード検索、エージェントメモリを対象とした埋め込みモデルコレクション「Nemotron 3 Embed」を公開した。ライセンスはOpenMDW-1.1（NVIDIA Open Model & Dataset License Weight 1.1）で、商用利用を含むオープンウェイト公開となっている。ただし完全なオープンソース（学習コード・データの全公開）ではなく、モデルの重みが公開されたオープンウェイトモデルという位置付けである点に注意が必要だ。

最大のポイントは精度だ。Nemotron-3-Embed-8B-BF16 は2026年7月17日時点で、検索特化ベンチマークである**RTEB（Retrieval Embedding Benchmark）の16タスク総合で78.46（avg NDCG@10）を記録し、全体1位**に立つ。

全モデルとも双方向アテンションマスキングを採用したTransformerエンコーダーで、トークンレベルの表現に対して平均プーリングで最終的な埋め込みを生成する。最大シーケンス長は全チェックポイントで32,768トークン。ベースアーキテクチャはMistralで、8BはMistral-3B-Instruct、1B系はMistral-3B-Instructをベースに後述の圧縮パイプラインを経て生成されている（※元記事のモデル名表記についてはHugging Faceのモデルカードで最新情報を確認されたい）。34言語で評価済みだ。

1Bモデルはゼロから学習していない──NASと蒸留の2段階圧縮

1Bモデルのスコアが旧世代1Bから**+10.4 RTEBポイント**という大幅な改善を遂げた背景には、単なる小型モデルの学習ではなく、圧縮パイプラインがある。

まず、nemotron-3-embed-3bを親モデルとして、**NVIDIA ModelOpt mcore_minitron NAS**（Neural Architecture Search）で3B→2Bに枝刈りする。NASは隠れ層の幅、FFNサイズ、アテンションヘッド数、深さを探索対象とし、5万サンプルのドメイン内キャリブレーションコーパスでパレートフロント上位10候補を評価して最良を選択する。

次に、その2Bモデルをファインチューン済みの8B教師モデルからコサイン距離損失（COS）とMSE損失を組み合わせた蒸留で圧縮し、最終的に1.14Bのチェックポイントを得る。同じ手順を2回繰り返す設計だ。

NVFP4：BF16比2倍スループット、精度99.5%維持

3つ目のチェックポイントNemotron-3-Embed-1B-NVFP4は、Blackwellアーキテクチャ（GB200やRTX 6000 PRO等）向けに最適化された4ビット量子化モデルだ。

線形層の重みと活性化のみをNVFP4データ型に量子化し、長い入力での精度回復のためにQuantization-Aware Distillation（QAD）を実施している。キャリブレーションにはabisee/cnn_dailymailから512サンプル（クエリ256、パッセージ256）を使用し、QAD学習は2万サンプルで行っている。

結果として、BF16比で最大2倍のスループットを実現しつつ、RTEBスコアの差はわずか0.38ポイント（99.5%の精度維持）にとどまる。また、2048次元の埋め込みベクトルを先頭から1024次元や512次元に切り詰めるダイナミック埋め込みサイズにも対応しており、再正規化後に使用できる。

デプロイ経路の使い分け

3つのチェックポイントはランタイム経路が異なる点に注意が必要だ。

1Bモデル向けには、コンテナ化されたマイクロサービスとして提供されるNIM（NVIDIA Inference Microservice）も公開されており、GB200とRTX PRO 6000ではvLLMと同等以上の性能を示している。

コード例を示す。Sentence Transformersを使う場合、encode_queryとencode_documentを呼び出すだけでquery:・passage:のプレフィックスが自動付与されるため、手動で追加する必要はない。

# pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
import torch
from sentence_transformers import SentenceTransformer

QUERIES = ["How can someone reduce exposure to pollen during allergy season?"]
DOCUMENTS = ["People with pollen allergy can reduce exposure by staying indoors "
             "on dry, windy days, avoiding early-morning outdoor activity, and "
             "going outside after rain when pollen levels are lower."]

model = SentenceTransformer(
    "nvidia/Nemotron-3-Embed-8B-BF16",
    device="cuda",
    model_kwargs={"dtype": torch.bfloat16,
                  "attn_implementation": "flash_attention_2"},
    processor_kwargs={"padding_side": "left"},
)
model.max_seq_length = 32768

q = model.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)
d = model.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)
print(model.similarity(q, d))  # 公表スコア: 0.8008

vLLMでNVFP4を立ち上げる場合は以下の通りだ。

vllm serve nvidia/Nemotron-3-Embed-1B-NVFP4 \
  --max-model-len 4096 \
  --max-num-batched-tokens 4096 \
  --max-cudagraph-capture-size 4096

主な用途（元記事より）

• 多言語エンタープライズ検索：ヒンディー語・日本語・英語のチケットを横断インデックスし、ドイツ語クエリで日本語の解決ノートを引き当てるといったクロスリンガル検索
• コード検索：coir_apps、coir_cosqa、synthetic_text2sql、SWE-benchでの学習により、自然言語→コードの検索が対象分布内の問題に近い
• エージェントメモリ：32,768トークンの上限により、長い会話サマリーをアグレッシブなチャンク分割なしに埋め込める
• コスト階層型RAG：高ボリュームのリコールに1B-NVFP4、難しいクエリを8Bにルーティングする構成。8Bの埋め込み次元は4096、1B系は2048と異なるためインデックスを2系統用意する必要がある。ベクトルDBのストレージ・管理コストが増加する点は、導入前に運用設計に織り込んでおきたい

詳細はNVIDIA AI Releases Nemotron 3 Embed: An Open Embedding Collection Whose 8B Checkpoint Ranks #1 on RTEBを参照していただきたい。