8月19日、The Decoderが「New benchmark ranks search APIs for AI agents on quality, cost, and speed」と題した記事を公開した。この記事では、AIエージェント向け検索APIを品質・コスト・速度の3軸で比較する新ベンチマーク「Search Index」について詳しく紹介されている。
なぜ今、エージェント向け検索APIのベンチマークが必要とされているか
RAG（Retrieval-Augmented Generation）やマルチステップのAIエージェントが実用段階に入るにつれ、「どの検索APIをエージェントに組み込むか」はアーキテクチャ上の重要な意思決定になりつつある。エージェントは単一の検索クエリで完結せず、結果の質が低ければ追加クエリを繰り返す。その繰り返しがトークン消費・レイテンシ・コストのすべてに連鎖する。ところが、これまでの検索API評価はWebブラウザや人間のユーザーを想定したものが多く、エージェントが実際にどう挙動するかを再現したベンチマークはほぼ存在しなかった。
AIモデル評価機関のArtificial Analysisがこの空白を埋めるべく公開したのが「Search Index」だ。
「品質が高いほど安い」——直感に反するベンチマーク結果
AIエージェントに組み込む検索APIを選ぶとき、エンジニアが気にするのは「精度」「速さ」「コスト」の3点だろう。対象となるAPIはParallel、Exa、Firecrawl、You.com、Tavily、Keenable（企業向けナレッジ検索サービス）、Braveの7サービスだ。全サービスを同一モデル・同一エージェント構成で評価し、検索プロバイダーだけを差し替えて比較する。使用モデルは元記事で「GPT-5.6 Luna」と記載されており、評価時点での最新モデルが用いられたものと考えられる。エージェントの実行基盤には、Artificial Analysis自身が開発したオープンソースフレームワークStirrupを使用し、各タスクにつき25回実行して結果を集計する。
評価スコアの構成
ベンチマークは3つのテストを等しく重み付けして合成する。
- DeepSearchQA：複数の検索クエリを要する調査系の質問900問
- BrowseComp（サブセット）：多段階のブラウジングが必要な難問200問
- AA-Omniscience：6つの知識ドメインにまたがる質問600問
比較基準として、検索ツールを一切使わずにモデルが単体で回答する「ベースライン」スコアを設けている。
結果は明快だ。検索なしではスコアが33点にとどまるのに対し、検索APIを使うと65〜75点の範囲に跳ね上がる。上位3サービスはParallel（75点）、Exa（74点）、Firecrawl（73点）だった。
最も面白いポイント：「品質を上げると総コストが下がる」
このベンチマークで最も示唆に富む発見は、検索品質とコストの関係だ。
直感的には「高品質なAPIほど高い」と思いがちだが、実際にはその逆が起きた。検索で良い結果が返れば、モデルが追加で試行する回数が減り、消費トークンが削減される。Parallel Search（advancedプラン）は、Basicプランと比較してトークン使用量が40%以上削減された。検索費用自体はadvancedプランの方が高いものの、モデルのトークンコストを含めたタスクあたりの総コストはadvancedプランの方が低く抑えられた（元記事の記載では**$0.084 vs. $0.11**、いずれもタスクあたりの数値）。
各APIの特徴とユースケース別の傾向
元記事で示された結果を整理すると、APIごとにユースケースとの相性が浮かび上がる。
- Parallel（advanced）：スコア・総コストともにトップクラス。コストを厭わず精度を最優先したい本番エージェントに向く
- Exa：スコア74点と高水準で、学術・リサーチ系の深い調査クエリに強いとされる
- Firecrawl：Webページの全文クロールを得意とし、構造化データの抽出を伴うタスクでの貢献度が高い
- Tavily・You.com：スコアは中位帯だが、一般的な質問応答タスクでは十分な水準を維持する
- Keenable：企業内ナレッジベースとの統合を想定したサービスで、汎用Webサーチとは用途が異なる点に注意が必要だ
- Brave：独自インデックスを持つ点でプライバシー重視の用途に適するが、今回の評価では上位には入らなかった
「速いクエリ」が「速いタスク」とは限らない
速度に関しても反直感的な結果が出ている。
Parallel Search（turboプラン）は1クエリあたりの応答時間が0.51秒と最速だったが（Basicは1.03秒）、スコアは67点と低め。品質が落ちるぶん、エージェントが追加の検索を繰り返すため、タスク全体の所要時間はほぼ同じになった。
クエリ単体のレイテンシで選ぶのではなく、エージェントがタスクを完了するまでの総合時間で評価しないと、実運用では期待を外すことになる。この点は、レイテンシ改善を目的に低品質のAPIへ乗り換えることが必ずしも有効でないことを示しており、エージェント設計における「1クエリあたりの最適化」という従来の発想を見直す根拠になる。
コスト・性能バランスのまとめ
Artificial Analysisは、Parallel（advanced）、Firecrawl、Parallel（turbo）がコストとパフォーマンスのバランスで最良の組み合わせに達したと述べている。
評価方法の全詳細は公式メソドロジーページで公開されており、ベンチマークへの参加を希望するプロバイダーは申請フォームから参加を申し込める。
詳細はNew benchmark ranks search APIs for AI agents on quality, cost, and speedを参照していただきたい。
