10月15日、Cloudflareが「Cloudflare and OpenAI: making AI discovery better for everyone」と題した記事を公開した。CloudflareとOpenAIによる共同パイロットプログラムの初期成果として、数億単位の新規ウェブページのインデックス化に成功したことが明らかになった。

背景：AIアシスタント時代の「見つけてもらえない」問題

ユーザーがChatGPTのようなAIに直接質問するようになると、「AIのインデックスにどう入るか」という新たな問題が浮上する。いくらコンテンツを最適化しても、AIシステムがそのページを発見できなければ意味がない。

従来の検索エンジンは被リンク数を重視するため、外部から参照されにくいページ——家電の取扱説明書、パスポート申請の最新要件、地元レストランのメニューといった「具体的だが被リンクが少ないページ」——は軽視されがちだった。しかしAIアシスタントが求めるのは回答の正確さと鮮度であり、こうしたページこそ価値ある情報源になりうる。

この課題に対し、CloudflareとOpenAIは2025年7月に共同リサーチパイロットを開始。CloudflareのネットワークシグナルをOpenAIの検索クローラー（OAI-SearchBot）に活用することで、ChatGPTがより広範なウェブコンテンツを効率よく発見できるかを1年以上にわたって検証してきた。今回の記事はその初期成果の報告にあたる。

初期結果：ネットワークの1%で数億ページを新規発見

パイロットに参加したのはCloudflareの総ネットワークの約1%に相当するサイト群だ。それでもOpenAIは数億単位の新規ウェブページを発見・インデックス化することに成功した。

Cloudflareは世界のHTTPトラフィックの約20%を処理するインフラを持つ。ネットワーク全体に展開した場合のインパクトがどれほどの規模になりうるか、この数字からおよそ見当がつく。

技術的なポイント：「無駄なクロール」をシグナルで排除する

単純に新しいURLを大量発見するだけでは、クローラーのコストが際限なく膨らむ。そこでCloudflareが提供するシグナルの役割が重要になる。具体的には以下の問題をクロール前にフィルタリングする。

• 存在しないページへの大量リクエスト：ボットが繰り返し叩く404ページを事前除外
• ホームページへのリダイレクト：ほぼすべてのURLをトップページに転送するサイトの無駄なクロールを防止
• 重複コンテンツ：同じ内容のコピーページを識別して除外
• 侵害ページの特定：正規サイト内に攻撃者が設置した偽ログインフォームなど、1ページ単位での危険フラグ立て（ドメイン全体をブロックしない点が特徴的だ）

さらにコンテンツ変更シグナルによって「このページは更新されたので再クロールする価値がある」「まだ変わっていないので不要」を判断できる。内容が変わっていないページへの無駄なクローラー負荷が減るため、サイトオーナー側にも恩恵がある。

サイトオーナーが知っておくべきこと：コンテンツは渡さない

押さえておきたい点がある。シグナルはあくまでメタデータの共有であり、ページコンテンツそのものをモデル学習用に提供するものではないという点だ。AIクローラーにどのページへのアクセスを許可するかは、引き続きドメインオーナーが管理できる。

CloudflareはAI Crawl Controlという機能を提供しており、AIシステムによる自サイトへのアクセス状況の把握と制御が可能だ。「AIに学習させたくない」場合や、パイロットへの参加可否を判断したいサイトオーナーは、この機能を通じた設定を確認しておくとよいだろう。

今後の展開

次フェーズとしてCloudflareは以下を予定していると述べている。

• 発見対象ページの選定精度の向上
• より高速・高信頼な変更シグナルのテスト
• コンテンツ発見後の効果計測

「Googleに見つけてもらう」最適化（SEO）が長年ウェブの競争軸だったとすれば、AIインデックスへの掲載はその次の競争軸になりつつある。CloudflareがネットワークレイヤーでOpenAIのクロール効率に直接関与するこの構造は、SEOとは異なるロジックでコンテンツの発見可能性が決まる時代を予感させる。

詳細はCloudflare and OpenAI: making AI discovery better for everyoneを参照していただきたい。