8月29日、RuntimeWireが「Perplexity takes all three top spots in Artificial Analysis' search API test」と題した記事を公開した。Perplexity SearchがArtificial Analysisの検索APIベンチマークで上位3枠を独占したという結果が注目を集めているが、最も興味深い知見は順位そのものではなく、「コンテキストをより多く渡せばエージェントのパフォーマンスが上がる」という直感が、少なくともこのベンチマーク上では成り立たなかった点にある。highよりmediumの方が高スコアを記録したという結果は、検索APIの使い方に関する実用的な示唆を含んでいる。
Perplexityがトップ3を独占
サードパーティ機関であるArtificial Analysisが8月28日に公開した検索APIインデックスで、Perplexityが1位・2位・3位をすべて占めた。
テストはPerplexity Search APIのlow・medium・highの3つのコンテキスト設定をそれぞれ別エントリとして評価したもので、結果は以下の通りだ。
| 設定 | スコア |
|---|---|
| medium | 80 |
| high | 79 |
| low | 77 |
次点はParallel SearchのadvancedモードとBrave SearchのLLMコンテキストモードで、それぞれ75点。You.com（highlightsモード）とExa Search（autoモード）は74点だった。
「コンテキストは多ければいい」わけではない
今回の結果で特に注目すべきは、highよりmediumの方がスコアが高かったという点だ。最大量のコンテキストを渡せばエージェントのパフォーマンスが上がるという直感に反している。
記事はこの点を次のように説明している。コンテキストが過剰になると、ダウンストリームのモデルが処理するトークン量が増え、関連箇所をエージェントが特定しにくくなる。適切な量を渡す方が、最大量を渡すより効果的だということだ。
ただし、この知見はあくまで本ベンチマーク上の結果であり、使用するモデルやタスクの性質によって最適なコンテキスト量は変わりうる。「コンテキストは多いほど良い」という考え方が常に誤りとは言い切れず、用途・モデル・プロンプト設計に依存する部分が大きい点は留意が必要だ。
Perplexityは2025年3月のプロダクトアップデートで、検索APIのスニペットを関連性とサイズの両面で最適化していると述べており、どのテキストスパンがクエリに直接答えるかをラベリングするシステムも導入している。現行のAPIドキュメントでは、lowを「短い関連パッセージ」、mediumを「バランスの取れた量」、highを「詳細なコンテンツ」と定義している。
コストとレイテンシのトレードオフ
品質面でトップに立ったPerplexityだが、速度とコストでは別の絵が見える。
コスト（検索API費用＋エージェントが使うモデルの推論費用の合計）：
- Perplexity medium・high：タスクあたり約**$0.091**
- Perplexity low：約**$0.105**
- Parallel Searchのfastモード：約**$0.068**（ただしスコアは73）
なお、PerplexityのSearch API料金は1,000リクエストあたり$5で、コンテキスト設定によらず一定だ。コストの差はエージェントが実行する検索回数とモデルが処理するトークン数から生じる。
レイテンシ（検索＋モデル処理の合計時間）：
- Perplexity medium：28.3秒
- Perplexity high：29.1秒
- Perplexity low：36.6秒
- Parallel Search fast：19秒
- Exa Search instant：19.7秒
速度が優先される用途ではParallel SearchやExa Searchが選択肢になる。
テスト設計の前提を理解する
Artificial Analysisのテストは、検索プロバイダーの差を純粋に見るため、それ以外の条件をすべて固定している。全プロバイダーで同一のエージェント（GPT-5.6 Luna（Artificial Analysisが使用したOpenAIのモデル）、medium reasoning effort）と、Stirrupハーネス（元記事に基づく。オープンソースか否かの詳細は元記事を参照）を使用。エージェントには最大25ターン、1検索あたり最大10件の結果が与えられた。
評価は3つのベンチマークを均等に組み合わせている：
- DeepSearchQA：900問
- AA-Omniscience：600問（ファクト確認）
- BrowseComp（困難な200問サブセット）
この設計は、異なるモデルや指示を使う「製品比較」より検索レイヤーの差を切り出せる。一方で、使用モデル・ハーネス・タスクセットが固定されているため、コーディングや商取引、ローカル検索など別の用途では結果が変わりうる。
開発者にとっての実用的な示唆は記事が端的にまとめている。「Perplexityはこの特定のエージェントに最も効果的な検索ペイロードを供給した。そして、利用可能な最大コンテキストを渡す必要はなかった」。
詳細はPerplexity takes all three top spots in Artificial Analysis' search API testを参照していただきたい。
