7月19日、MarkTechPostが「Perplexity AI Releases WANDR: An Open Benchmark Evaluating Research Agents That Must Search Wide And Deep」と題した記事を公開した。Perplexity AIがリサーチエージェントの評価基盤として公開したオープンベンチマーク「WANDR」について詳しく紹介されている。

「1つの正解」ではなく「証拠付き大規模コレクション」を評価する

AIエージェントに競合調査や文献レビューを任せるチームは増えている。しかし既存のベンチマークの多くは、1問1答形式を前提としており、実務で必要な「数十〜数百のエンティティを集めて、それぞれに根拠を付ける」という作業を評価できていなかった。

Perplexity AIはこのギャップを埋めるべく、**WANDR（Wide ANd Deep Research）**を公開した。500タスクから成るオープンベンチマーク兼評価ハーネスであり、ナレッジワークにおけるデータ収集業務を対象としている。

WANDRは、同社が以前リリースした深掘り調査向けベンチマーク「DRACO」の兄弟版に位置づけられる。DRACOは「正確で完全な長文レポートを生成できるか」を問うベンチマークであり、長文レポート生成における精度と網羅性を評価軸に置いている。これに対しWANDRは「証拠付きの大規模コレクションを構築できるか」を問う。単一の深掘りではなく、多数のエンティティを横断的に収集・根拠付けする能力を計測する点が設計上の根本的な差異だ。

WANDRが測る2つの能力

WANDRが評価するのは2つの要素の組み合わせだ。

• Wide（広さ）: 条件を満たすエンティティを漏れなく大量に発見できるか
• Deep（深さ）: 各エンティティについて、すべての主張を根拠付けるに足る調査ができるか

この2つを同時に課すことが、既存ベンチマークとの本質的な違いとなっている。「それらしい事例を少数だけ挙げる」でも、「調査が不完全なまま見栄えのよいレポートにまとめる」でもなく、網羅性と証拠の両立が求められる。

タスク構造には「qualification key hierarchy（資格キー階層）」と呼ぶ合成可能な形式を採用している。例えば company(n) -> employee(m) -> url(k) は「n社を特定し、各社でm名の従業員を調べ、各人についてk件の根拠URLを示せ」という意味になる。この構造でフラットなリスト、ネスト検索、マトリクス型タスクを統一的に表現できる。

具体的なタスク例

公開タスク ceo_cfo_appointments を例に取ると、その要件は以下の通りだ：

• 2026年3月1日〜4月30日の間にCEOまたはCFO就任が初めて発表された米国企業を70社以上収集する
• 各社について任命を証明するページを1件提出する
• さらに各社の上場根拠ページを1件追加する

企業ごとに2件の根拠URLが求められるため、70社以上を対象とすると提出レコードは140件以上に達する計算となる（※この件数は編集部が要件から導出したもので、元記事に明示の記載はない）。評価時には提出されたURLをグレーダーが実際に再取得し、引用箇所が本当にページ上に存在するか、要件を満たすかを検証する。

500タスク、17万件の根拠レコード

タスク群は実際の利用パターンを匿名化したデータから出発し、「シーディング→オーサリング→審査→キュレーション」の4段階パイプラインで生成されている。合成プロンプトの使い回しではない。

数字で見ると：

• 中央値タスクのメンバー数：50件
• 中央値タスクのレコード総数：245件
• 500タスク合計のレコード総数：170,495件
• 難易度：低・中・高で均等に三分割（167／166／167タスク）

現状の最高スコアは「Soft F1: 0.363」

Perplexityは6つのシステムをすべての500タスクで評価した。

Perplexityの最高設定（xhigh）ではSoft F1: 0.447に達するが、コストは1タスクあたり最小$0.03から最大$324.83と4桁以上の開きがある。

評価から浮かび上がった主な知見は以下の4点だ：

1. 部分的な達成は多いが、完全な網羅は稀。 全システムでSoft RecallがSoft Precisionを下回る傾向が見られる。WANDRの設計思想である「広さ（Wide）」の評価において、Recallは「条件を満たすエンティティのうちどれだけ発見できたか」を測る指標だ。既知の正解セットが膨大なため、精度よりも網羅率を高めることの難しさが数値に表れている
2. 階層が深いほど失点が累積する。 枝が増えるほど失敗ポイントが増える
3. 最大のボトルネックはトップレベルの発見。 システムによって発見完了率は0.611〜0.951とばらつく
4. URLの取得は容易でも、証拠の抽出は難しい。 Perplexityでは取得ページの**41.4%が実質的な要件を満たせず、引用の57.5%**が主張全体を支持できていない

Search as Codeとの相性

Perplexityが首位に立つ背景には、Search as Code（SaC）アーキテクチャの特性がある。検索・フィルタリング・ファンアウト・結合・重複排除・終了判定をプログラムとして記述することで、モデルコンテキスト外で繰り返し処理を決定論的に実行できる。WANDRのような大規模コレクション構築タスクと相性がよい。

なお、WANDRを公開したのがPerplexity自身であることは留意しておきたい。自社アーキテクチャが最も高いスコアを記録している点については、ベンチマーク設計の中立性に関して読者が疑問を持つのは自然だ。この点についてPerplexityは技術詳細記事の中でタスク生成プロセスの透明性と再現性を根拠に挙げており、評価ハーネスおよびタスクセットはフルオープンで公開されている。第三者が独立して評価・検証できる構造になっている点は、信頼性担保の観点での一つの回答といえる（※編集部の考察）。

ベンチマーク自体はオープンで、GitHubリポジトリと技術詳細記事が公開されている。

詳細はPerplexity AI Releases WANDR: An Open Benchmark Evaluating Research Agents That Must Search Wide And Deepを参照していただきたい。