11月2日、PsyPostが「Over 10 percent of factual claims in Google's AI search summaries aren't backed by their cited sources, study finds」と題した記事を公開した。GoogleのAI Overviewsが生成する事実的主張の約**11%**が引用元に裏付けられておらず、しかも信頼性の高いドメインを引用してもエラー率は変わらない——大規模な自動検証実験でそう判明した。

9件に1件は出典に書いていない

ワシントン大学セントルイス校のHaofei Xu、Umar Iqbal、Jacob M. Montgomeryの3名が、GoogleのAI Overviews（AIによる検索結果サマリー機能）を大規模に分析した研究をarXiv（arXiv:2504.xxxxx）に公開した。

研究チームは2026年初頭の40日間、クラウドサーバー上の自動ブラウジングプログラムを用いて55,393件のGoogleクエリを実行した。ボット検知を回避するため人間の入力を模倣するよう設計されたこのプログラムで、健康・スポーツ・政治など19カテゴリにまたがる検索を行い、AI Overviewsの出現有無・生成テキスト・引用元を記録した。

精度の検証では、収集したAI Overviewsのテキストを98,020件の個別の事実的主張に分解。別の大規模言語モデルを使った自動検証パイプラインで、各主張が引用元ページの内容によって実際に裏付けられているかをチェックした。

結果、生成された主張の11%が引用元に支持されていないことが判明した。エラーの大半は「省略型」——要約が言及する事実が、リンク先のソースに存在しないケースである。一部は引用元の記述と直接矛盾する内容さえ含まれていた。

さらに問題なのは、引用元の信頼性とエラー率の間に統計的な相関がなかった点だ。信頼度の高いドメインを引用してもしなくても、主張の正確さは変わらなかった。カテゴリ別では、健康・政治に関するサマリーは精度が高い一方、エンタメ・テクノロジー系は精度が低い傾向が見られた。

AI Overviewsをめぐる背景

AI Overviewsは、Googleが2024年5月に米国で一般展開した機能で、検索結果の最上部にAIが生成した要約を表示する。展開直後から「岩を食べると健康に良い」といった明らかな誤情報を出力する事例が相次ぎ、大きな批判を浴びた。Googleはその後、品質改善を重ねてきたと説明しているが、今回の研究はその実態に疑問を突きつけるものである。

ハルシネーション（幻覚）と呼ばれるLLM特有の事実誤認問題は広く知られているが、AI Overviewsのような「引用付き要約」においても同様のエラーが11%の割合で生じているという事実は、引用の存在が精度を保証しないことを示している。検索ユーザーにとっては、リンクが付いていることへの安心感がむしろリスクになりうる。

AI Overviewsはいつ、どんな検索で出現するか

AI Overviewsが実際に表示される頻度も分析された。**全クエリの13.7%でAI Overviewsが起動した。ただしクエリの形式が大きく影響し、疑問文形式では64.7%で表示されたのに対し、通常のキーワード検索では9.5%**にとどまった。

トピック別では、趣味や科学系のクエリで頻出する一方、政治的にセンシティブな話題では抑制される傾向があった。研究チームはこれを「Googleが非公開の編集裁量でAIの出力を制御している可能性を示唆する」と指摘している。

通常検索とは異なる情報源を使っている

AI Overviewsが引用するドメインの質も検証された。引用されたサイトは、同一クエリの通常検索結果に表示されたサイトより信頼性スコアが一貫して高かった。SNSや動画プラットフォームといった未審査のユーザー生成コンテンツへの依存は少ない。

一方で、AI Overviewsに引用されたサイトの約30%は、通常の検索結果1ページ目には登場しなかった。AI Overviewsは従来の検索アルゴリズムとは異なる独自の情報選択プロセスを持っていることになる。

パブリッシャーが被る経済的損失

研究の後半では、引用元サイトへの経済的影響も分析された。AI Overviewsに引用されたページの半数以上がディスプレイ広告を収益源としている。

AI Overviewsが検索ページ上で直接回答を提供すると、ユーザーが元のサイトをクリックする動機が下がる。クリックが減れば広告収入が減り、コンテンツを生産したパブリッシャーは損失を被ることになる。対してGoogleは、AI Overviewsの隣に自社の広告を表示し続ける。場合によってはAI Overviewsより上に広告が表示されるケースもあるという。

研究の限界

研究チームも自動化手法の限界を認めている。気温などリアルタイム更新されるデータを含むクエリでは、引用元サイトが検証時点で情報を更新していた場合、正しい主張が誤りとして記録される可能性がある。また、ログインが必要なサイトや自動スクレイピングをブロックするSNSなどは精度検証の対象外であり、「裏付けなし」と判定された主張の一部は実際には引用元に記述があった可能性もある。

ユーザーが実際にこれらのエラーに気づくかどうか、また信念の形成にどう影響するかは、今後の研究課題として残されている。

詳細はOver 10 percent of factual claims in Google's AI search summaries aren't backed by their cited sources, study findsを参照していただきたい。