10月15日、Cloudflareが「Cloudflare and OpenAI: making AI discovery better for everyone」と題した記事を公開した。CloudflareとOpenAIが共同パイロットを通じてAIによるWeb発見・インデックス効率を向上させた取り組みと、その初期結果を詳しく紹介している。注目すべきは、対象ネットワークのわずか約1%というコホートの試験で、これまで誰にも発見されていなかった数億件のWebページが新たにインデックス化されたという成果だ。
数億ページを新たにインデックス化
CloudflareとOpenAIは2025年7月に共同リサーチパイロットを開始した。Cloudflareのネットワークから得られるシグナルを活用することで、ChatGPTのユーザーが新しいコンテンツをより効率的に発見できるかどうかを検証するものだ。
その初期結果が今回公開された。Cloudflareの総ネットワークの約1%を対象としたコホートでの試験にもかかわらず、OpenAIはこれまで未発見だった数億件のWebページを新たに発見・インデックス化することに成功した。
この規模感は、現在のAIとWebの関係を考えると意味が大きい。従来の検索エンジンは被リンク数を重要な指標としてきたが、AIによる情報探索では「他サイトからほとんどリンクされていないページでも有用であれば価値がある」という考え方が前提になる。特定の洗濯機の修理マニュアル、最新のパスポート申請要件、地元レストランの最新メニューといった、ニッチだが実用的なページがその典型だ。
Cloudflareのシグナルが果たす役割
ポイントは、CloudflareがOpenAIにページのコンテンツを渡しているわけではないという点だ。あくまで「発見のためのメタデータ」を提供しており、モデルの学習には使用しない。
具体的なシグナルとしては以下が挙げられている。
- 存在しないページへの繰り返しリクエスト（404を量産するBot的な挙動）の検知
- リダイレクト先の判別（ほぼすべてのURLをトップページに転送するサイト等）
- 重複コンテンツの検出
- ページの変更検知（更新されていないページへの不要なクロールを抑制）
- 有害ページの検知（ドメイン全体ではなく、改ざんされた単一ページだけをフラグ立て）
特に有害ページへの対処は実用的だ。正規サイトの一部に攻撃者が埋め込んだ偽ログインフォームなどを、ドメイン全体ではなくページ単位で除外することで、サイトオーナーへの不当なペナルティを避けながら安全性を確保できる。
クロール効率とサイトオーナーへの影響
発見できるページが増えると、一時的にクロール量が増加するというトレードオフがある。Cloudflareはこの点を正直に認めたうえで、「フィルタリングと変更シグナルによって不要なクロールを減らし、長期的にはサーバー負荷を下げることが目標」と説明している。
サイトオーナーはCloudflareの**AI Crawl Control** を使って、AIクローラーのアクセスを管理できる。シグナルが存在することと、そのサイトへのアクセスを許可することは別の話であり、ドメインオーナーのコントロールは維持されている。
次のフェーズ
今後の計画として、ページ選定精度の向上、より高速で信頼性の高い変更シグナルのテスト、そしてコンテンツが発見された後のビジネス成果の測定が挙げられている。
AIエージェントがWebを自律的に探索する時代において、「どのページをクロールするか」を最適化するインフラレイヤーの設計は、エージェント全体の有用性に直結する。CloudflareとOpenAIの連携はその一例であり、今後同様のアプローチが他のAIシステムにも広がる可能性がある。
詳細はCloudflare and OpenAI: making AI discovery better for everyoneを参照していただきたい。
