10月1日、Sana Hassanが「Cohere Releases Embed 5: How It Compares to Voyage 4 Large, Gemini Embedding 2, and OpenAI」と題した記事を公開した。この記事では、Cohereが新たにリリースした埋め込みモデルファミリー「Embed 5」の性能と、主要競合モデルとの比較について詳しく紹介されている。
最大のポイント:ProとFastが同一ベクトル空間を共有する設計
Embed 5の最も実用的な特徴は、ProとFastの2ティアが単一の埋め込み空間を共有する点だ。コーパスのインデックス化にProを使い、クエリ時にFastを使うという構成が取れる。再インデックスは不要で、両者で出力次元数を揃えるだけでよい。
なぜこれが重要かというと、エージェント型ワークロードでの検索コスト問題に直結するからだ。エージェントが1タスクで数十回の検索を発行するケースでは、クエリ時のレイテンシが積み重なる。Cohereの計測では、Fastのスループットは377.3ドキュメント/秒、Proは159.7ドキュメント/秒。「Proでインデックス、Fastでクエリ」という構成で、品質スコア(Pro+Pro=100を基準)は98.4を維持する。全Fast構成では96.6。
価格は、テキストトークン1Mあたり Pro $0.12、Fast $0.08。画像は両ティアとも$0.40/1Mトークン。
競合との比較:コンテキスト長で大きく差をつける
ベンチマークの主要スコアは以下の通り。スコアはCohereが独自に定義した評価指標RCP-nDCG@10で測定されたもので、表内の「ViDoRe V3スコア」列はこの指標に基づく値である(指標の詳細は後述の注意点セクションを参照)。
| モデル | ViDoRe V3スコア(RCP-nDCG@10) | 最大入力長 | テキスト料金(1Mトークン) |
|---|---|---|---|
| Embed 5 Pro | 85.8 | 128Kトークン | $0.12 |
| Embed 5 Fast | 84.5 | 128Kトークン | $0.08 |
| Voyage 4 Large | 83.7 | 32,000トークン | $0.12 |
| Gemini Embedding 2 | 83.2 | 8,192トークン | $0.20 |
| OpenAI text-embedding-3-large | 75.5 | 8,191トークン | $0.13 |
スコア上位3モデルの差は2.6ポイント以内と接近しているが、コンテキスト長でEmbed 5は圧倒的だ。Voyage 4 Largeの4倍、Gemini Embedding 2およびOpenAI text-embedding-3-largeの約16倍に相当する128Kトークンを受け付ける。長大なPDF、決算書類、技術マニュアルなどをそのまま食わせるユースケースで差が出る。
金融ドメインでの結果が最も強い。FinanceBench(80.1)、FinQA(90.0)、ViDoRe V3 Finance(85.0)でProが1位、Fastが2位。
一方で、多言語性能は留保が必要だ。ProはEuropean言語の平均でトップだが、Cohereが自社で公開した比較表を読み取ると、日本語・アラビア語・ヒンディー語・テルグ語を含む複数言語でGemini Embedding 2がProを上回るケースが見られる。元記事に言語ごとの数値が明示されているわけではなく、あくまでCohereの比較表からの読み取りであるため、解釈には注意が必要だ。
ベクトルストレージの圧縮:100Mチャンクで819GB→3.2GB
Embed 5はMatryoshka表現学習(次元を切り捨てても精度が維持されやすい学習手法)を採用し、出力精度もfloat/int8/binaryから選べる。
- 2048次元 float32:8KB/ベクトル → 100Mチャンクで819GB
- 1024次元 int8:1KB/ベクトル → 100Mチャンクで約100GB
- 256次元 binary:32バイト/ベクトル → 100Mチャンクで約3.2GB
Cohereは「1024次元int8がデフォルトの最適解」と推奨している。binary出力は精度を一部犠牲にするが、リランキング前の第一段階の候補絞り込みに向くとしている。
マルチモーダル対応とデプロイ
テキストだけでなく、画像単体、テキスト+画像の融合入力も1ベクトルに変換できる。スキャンPDF、スライド、図面、グラフなど、テキスト抽出では情報が欠落するコンテンツへの対応を想定した設計だ。Gemini Embedding 2も画像・動画・音声・PDFに対応しているが、Voyage 4 LargeとOpenAI text-embedding-3-largeはテキスト専用にとどまる。
デプロイ面では、Cohere API、Microsoft Azure AI Foundry、Amazon SageMakerで即時利用可能。VPCまたはオンプレ環境への自己ホストはvLLM経由で対応する。
ベンチマーク指標への注意点
Cohereが使用しているRCP-nDCG@10は、Cohereが独自に定義した新しい評価指標だ。固定の候補セットを並べ替える形式で、リランキング品質を測定するものであり、第一段階のリトリーバルの網羅性(Recall)を測るものではない。評価コードはGitHubで公開されているが、独立した第三者による再現検証はまだ行われていない。数字はあくまでベンダー発表値として扱うべきだ。
詳細はCohere Releases Embed 5: How It Compares to Voyage 4 Large, Gemini Embedding 2, and OpenAIを参照していただきたい。