9月2日、Haus Researchが「A third of Perplexity's citations don't contain the number they're cited for」と題した調査報告を公開した。AIサーチエンジン「Perplexity」が回答に付与する引用の34.7%が、引用元として示したURLに該当する数値をひとつも含んでいなかったという検証結果だ。
AI検索サービスが「引用付き回答」を信頼性の根拠として打ち出す中、引用そのものが証拠として機能しているかを体系的に検証した報告は珍しい。Perplexityは月間アクティブユーザーが1億人を超えたとされ(2025年時点の同社発表)、Google検索の対抗馬として注目を集める。その「引用」の実態が今回初めて大規模に解剖された。なお、本調査の対象はOpenRouter経由のAPI(perplexity/sonarおよびperplexity/sonar-pro)であり、コンシューマー向けのPerplexity.aiとは挙動が異なる可能性がある点は留意が必要だ。
310件のファクト質問、1,826件の引用を全件検証
Haus Researchは、AIリサーチツールや情報品質の評価を専門とする独立系調査機関だ。今回の調査では、PerplexityのAPIで利用できる2つのモデル(perplexity/sonarとperplexity/sonar-pro)に対して、210社のテクノロジー企業に関する310件のファクト質問を投げかけ、回答に付与された引用を全件検証した。
質問テンプレートは「設立年」「最新の資金調達ラウンド」「従業員数」「最安値プランの価格」「本社所在地」「売上」「セキュリティ侵害の開示件数」「現CEO」「M&A実績」「有料プランのアップタイムSLA」の10種類。いずれも誰かが実際に調べそうな事実だ。
収集した1,826件の「数値を含む文に付与された引用」について、引用先URLがその数値をひとつでも含んでいるかを機械的に検証した。金額表記の揺れ($185 million、$185M、185000000)は正規化して同一視している。1つでも数値が一致すれば「合格」という甘い基準にもかかわらず、34.7%が不合格だった。
引用単位ではなくクレーム(主張)単位で集計し直すと(1つの主張に複数の引用マーカーが付く場合、いずれか1つが合格すれば「合格」とカウント)、872件のうち14.4%が不合格になる。
「リンク切れ」より深刻な2つの問題
不合格の内訳が興味深い。**リンク切れ(404等)はわずか1.3%**に過ぎない。問題の大半は以下の2種類だ。
① アクセスできないページ(ゲート付きコンテンツ)
sonarが引用したURLの6件に1件がゲート付きだった。PitchBook、ZoomInfo、Crunchbase、Reutersといった有料データベースへのリンクで、購読者でなければ内容を確認できない。引用として提示されているが、一般読者には検証不可能だ。sonarの310件の回答のうち、84.2%が少なくとも1件のアクセス不能URLを含んでいた。
② アクセスできるが、該当する数値が書かれていないページ
アクセス可能なページの**16.1%**が、引用元として示された数値をひとつも含んでいなかった。
典型例として、Vercelの最安値プランについての質問がある。sonarは「最初の有料プランは月額$20から」と回答し、vercel.com/docs/plansを引用した。このURLはHTTP 200を返し、プラン名も記載されている。しかし$20という文字列はどこにも存在しない。数値はおそらく正しい。しかし引用がその根拠になっていない。
本社所在地の質問では、両モデルとも番地・通り名・郵便番号まで含む住所を回答し、Wikipediaの企業ページを引用している。しかし対象の複数記事を検証したところ、いずれのWikipedia記事にも該当の番地・通り名・郵便番号は存在しない。回答文自体に「複数のソースが〜と記載している」と書かれていながら、Wikipediaにだけマーカーを付けているケースもある。報告書はこれについて、「主張と引用が同一のプロセスから生成されており、そのプロセスは検索(retrieval)ではない」と指摘する。つまり、引用はあとから「それらしいURLを添付している」に過ぎない可能性が示唆されている。
消えゆく引用の土台:25%はWayback Machineにも存在しない
さらに深刻なのが引用先URLの保存状況だ。sonarが引用した1,500件のURLをWayback MachineのCDXインデックスで調べたところ、解決できた1,432件のうち25.1%がWayback Machineに一度もキャプチャされていない。
ディレクトリ系・リードリスト系のページに限ると、その割合は**39.3%**に跳ね上がる。これらはSEO目的で大量生成され、採算が合わなくなれば即座に削除される。実際、本調査で見つかったリンク切れURLの多くは同じパターンだ:
komo.ai/directory/<company>-officestemperstack.com/plans/<company>apollo.io/where-is/<company>portersfiveforce.com/blogs/brief-history/<company>
これらは「その質問を検索した人を捕まえるために量産されたページ」だ。引用されたページが消えても、Perplexityの回答文は残り続ける。文も、引用マーカーも、そのまま。検証できなくなるだけだ。
上位モデルも下位モデルも差なし
有料モデルsonar-proがsonarより信頼性が高いかというと、そうではない。sonarの合格率65.9%(95%信頼区間: 62.8–68.9%)に対し、sonar-proは64.7%(61.5–67.7%)。信頼区間は重複しており、統計的に差はない。引用数も1回答あたり9.8件と9.7件でほぼ同一だ。
比較対象として実施したGPT-4.1(Web検索ツール付き)は、1回答あたりの引用数が2.0件と大幅に少なく、引用先の36.4%が企業の公式ドメイン(Perplexityは23.4%)だった。ただしGPT-4.1はインライン引用マーカー([n]形式)を使わず、回答末尾にリストを置く形式のため、文レベルのクレームと引用の対応付けができず、文単位の監査自体が不可能だった。これ自体がひとつの知見だと報告書は述べている。
調査の限界
報告書自体も限界を明示している。
- あくまで2026年9月2日時点のスナップショットであり、経時変化は測定していない
- 英語・テクノロジー企業に限定した調査であり、他言語・他業種への一般化はできない
- ゲート付きページは「間違い」とは限らない。有料購読者なら内容を確認できる可能性がある
- JavaScriptを実行せずHTMLのみを取得しているため、JS依存のコンテンツは「空」扱いになる
- 今回の対象はOpenRouter経由のAPI(
perplexity/sonar等)であり、Perplexityのコンシューマー向けプロダクトとは挙動が異なる可能性がある
報告書の最後の一文が本質を突いている。
We are not measuring whether Perplexity is right. We are measuring whether the thing it offers as proof functions as proof. On a third of the citations we checked, it does not.
「我々はPerplexityが正しいかどうかを測定しているのではない。Perplexityが証拠として提示するものが、証拠として機能しているかどうかを測定している。検証した引用の3分の1において、それは機能していない。」
全データセットはCC BY 4.0で公開されており、質問リスト、引用URLとその解決結果、クレーム—引用ペアと両判定結果、Waybackルックアップ結果が公開されている。
詳細はA third of Perplexity's citations don't contain the number they're cited forを参照していただきたい。