7月3日、Dataconomyが「Cloudflare will block AI crawlers unless sites opt in」と題した記事を公開した。インターネットトラフィックの大半がすでに非人間によるものとなった現実を背景に、CloudflareがAIクローラーをデフォルトでブロックする方針へ転換し、Webサイトオーナーにコンテンツ利用の制御権を与える新ポリシーを打ち出した。
「オプトイン」から「オプトアウト」へ：Cloudflareの方針転換
Cloudflareは、検索インデックスとAI学習・エージェント用途の両方を兼ねた混合型クローラー（mixed-use crawler）を、デフォルトでブロックする方針を打ち出した。
従来、Cloudflareはサイトオーナーが「AIスクレイピングを許可するか拒否するか」をオプトイン形式で選択できる仕組みを提供してきた。今回の転換はその逆で、デフォルトをブロック側に倒すというものだ。これは、コンテンツを無断でAI学習に使われることへの出版社・サイトオーナーの不満を受けた動きといえる。
なお、robots.txtによる従来型のクローラー制御は、AIクローラーがこれを無視・迂回するケースが相次ぎ、実効性に疑問符がついている。Cloudflareのネットワークレベルでのブロックは、そうした限界を補う手段として位置づけられる。
CEO Matthew Princeはこう述べている。
"Now that the majority of traffic on the Internet is non-human, we must go further and act faster so that a sustainable ecosystem can emerge."
（「インターネットトラフィックの大半がすでに非人間によるものとなった今、持続可能なエコシステムを生み出すために、より踏み込み、より速く動かなければならない」）
具体的なスケジュールと対象
2026年9月15日から、以下の対象に新しいデフォルト設定が適用される。
- 新規顧客
- 既存ユーザーが新たに追加するWebサイト
- 無料アカウントユーザー（期限前にオプトアウトしない場合、自動的に新デフォルトへ移行）
有料プランユーザーへの適用タイムラインや扱いの違いについては元記事に明示的な記述がなく、現時点では不明な点が残る。気になるユーザーはCloudflareの公式アナウンスを継続的に確認することを推奨する。
新しいデフォルトの内容は次のとおりだ。
- 検索インデックスは許可
- AI学習・エージェント用途は広告掲載ページでブロック
- サイトオーナーがAIコンテンツ利用を制御できない混合型クローラーも、広告掲載ページでデフォルトブロック
コンテンツの「商業化」も視野に：Pay Per Use
今回の発表には、新たな収益化の仕組みも含まれている。従来「Pay Per Crawl」と呼ばれていた機能が「Pay Per Use」に改称された。改称の背景には、単なるクロール行為への課金から「コンテンツが実際に参照・利用された際に報酬を支払う」という考え方へのシフトがある。AIチャットボットがサイトのコンテンツを参照した際に、サイトオーナーへ報酬が支払われる仕組みだ。
具体的な単価・決済方式については元記事に詳細な記述はないが、すでにCeramic.AIおよびYou.comとのパートナーシップが発表されており、今後さらにAI企業の参加が見込まれているとしている。出版社やブログ運営者にとって、自サイトのコンテンツがAIに「読まれる」ことを収益源に転換できる可能性を秘めた仕組みといえる。
混合型クローラー全般への影響
この政策転換が特に照準を当てるのが混合型クローラーだ。検索インデックスとAIモデルへのデータ収集を兼ねたクローラーを運用する企業は、Cloudflareの新ポリシーのもとでクローリング戦略の見直しを迫られる圧力を受けることになる。
元記事はその一例としてGooglebotに言及している。Googlebotは検索インデックスとAIデータ収集の両用途を持つ典型的な混合型クローラーであり、Cloudflareの新デフォルトの影響を受けうる存在として挙げられている。ただし、元記事のフォーカスはGoogleを名指しで批判するものではなく、あくまで混合型クローラー全般に対するポリシー転換として位置づけられている点は押さえておきたい。
出版社にとって従来、Googlebotを拒否すれば検索流入を失うというジレンマがあった。Cloudflareのデフォルトブロックはその構造を変えうる一手だ。
国際的文脈：AI規制の潮流とコンテンツ権利保護
Cloudflareの動きは、単独の企業判断にとどまらない。EUではAI ActにおいてAI学習データの透明性確保が議論され、著作権保護の観点からもAIクローラーへの規制圧力が高まっている。米国でも複数の出版社がAI企業を相手取った訴訟を起こしており、コンテンツ権利保護をめぐる法的・技術的な対抗手段が模索されている状況だ。Cloudflareの今回の施策は、こうした国際的な潮流に沿ったインフラレベルの回答といえる。
まとめ
Cloudflareの今回の動きは、「AIに勝手に学習されたくない」というWebサイトオーナー側の要求に応える形で、インターネットのコンテンツ流通の構造に手を入れるものだ。2026年9月15日という期限まで一定の猶予はあるものの、無料ユーザーを含む多くのサイトに自動適用されるため、対応の要否を早めに確認しておく必要がある。Pay Per Useによる収益化の仕組みも含め、今後の参加企業の動向にも注目したい。
詳細はCloudflare will block AI crawlers unless sites opt inを参照していただきたい。
