10月21日、Search Engine Journalが「ChatGPT Search Can Draw On More Pages After A Cloudflare Pilot」と題した記事を公開した。CloudflareとOpenAIの共同パイロットにより、他サイトからほとんどリンクされていない「埋もれたページ」を含め、これまでインデックスできていなかった数億規模のWebページが新たに発見されたという。従来の検索エンジンがリンク構造に依存してページを発見してきた前提を揺さぶる取り組みとして注目に値する。

Cloudflareのネットワーク信号でOpenAIがページを発掘

CloudflareとOpenAIは、Cloudflareのブログにて共同パイロットの初期成果を公表した。Cloudflareの総ネットワークの約1%に相当するサイト群を対象にした実験で、OpenAIがこれまで発見・インデックスできていなかった数億規模の新たなWebページを特定することに成功したという。

パイロットでは、CloudflareのネットワークシグナルをOpenAIの検索クローラーに提供する。具体的なシグナルの例として、ページの最終更新日時・サイトへのトラフィック品質・ページへの変更内容が挙げられている。

これらのシグナルが特に威力を発揮するのが、被リンクの少ないページの発見だ。従来の検索クローラーはリンクをたどる構造上、他サイトから参照されないページを見つけることが難しかった。Cloudflareのネットワーク信号を活用することで、リンク構造に依存せずページの存在や価値を推定できるようになる。記事中の具体例として、特定の洗濯機のユーザーガイド・パスポート取得要件と手数料の最新情報・レストランのメニューと営業時間といったページが挙げられている。いずれも更新頻度が高く実用性はあるが、外部からリンクされにくいタイプのコンテンツだ。

クロール効率の改善とスパム排除

シグナルはページ発見だけでなく、無駄なクロールの削減にも使われる。存在しないファイルへの繰り返しリクエスト、ほぼすべてのURLをホームページにリダイレクトするサイト、重複コンテンツへの誘導といった問題をシグナルで検知し、クローラーが再訪問すべきかどうかを判断できるようにする狙いだ。

さらに、悪意あるページの検出も試みている。正規サイトの1ページだけに攻撃者が仕込んだ偽ログインフォームを例として挙げており、ドメイン全体ではなく該当ページのみをインデックスから除外するフラグを立てることを目標としている。初期結果では、シグナルがこうしたページの特定に有効と示唆されているという。

なお、記事では「新しいページの発見により、評価・インデックス処理の過程でクロール量が一時的に増加する可能性がある」とも明記されている。サーバー負荷への影響を気にする運用者は注意が必要だ。

クローラー制御とSEO実務への影響

重要な前提として、「シグナルはページへのアクセス許可を意味しない」と両社は明記している。実際のクローリングはrobots.txtの設定が引き続き有効だ。

OpenAIのクローラーは公式ドキュメントによって2種類に分かれている：

• OAI-SearchBot：ChatGPT検索用のクローラー
• GPTBot：モデルのトレーニング用コンテンツ収集クローラー

OAI-SearchBotを許可しつつGPTBotをブロックする設定にすれば、「ChatGPT検索結果には表示されるが、学習データには使われない」という構成が可能だ。OpenAIもこの設定例をクローラーに関するドキュメントで提示している。

自サイトへのAIクローラーのアクセス状況は、Cloudflareが全プランで提供しているAI Crawl Controlで確認・制御できる。

今後のロードマップ

次のフェーズとして両社が挙げているのは、AIによるページ選定アルゴリズムの改善、コンテンツ変更の検知速度向上、新規発見コンテンツの効果測定の3点だ。Cloudflareはこの機能を広く提供する方針を示しているが、具体的な時期は現時点で未定とされている。

また、ChatGPTからの流入トラフィックの計測については別途課題がある。UTMタグやリファラーが欠落したリンクが今月初旬に確認されており、Search Engine Journalが10月15日に報告している。アナリストによると、その日から修正が展開され始めたという。ChatGPT経由のトラフィックを正確に把握したい場合は、計測環境の見直しも合わせて検討すべき状況だ。

詳細はChatGPT Search Can Draw On More Pages After A Cloudflare Pilotを参照していただきたい。