7月7日、The Decoderが「Cloudflare replaces its blanket AI bot block with granular controls for search, training, and agent crawlers」と題した記事を公開した。インターネット上のボットトラフィックが初めて人間のトラフィックを上回った——CloudflareのCEO、Matthew Princeが2026年6月にそう指摘したことを背景に、同社はAI crawlerの扱いを根本から見直した。「全部ブロック」か「全部許可」かの二択ではなく、クローラーの目的別にアクセスを制御できる新方式へ移行したのだ。
「一括ブロック」から「用途別コントロール」へ
2024年7月以来、Cloudflareは全AI crawlerを一括でブロックするオプションを提供してきた。今回その仕組みが大きく変わる。サイト運営者は、AIボットのアクセスを以下の3カテゴリできめ細かく個別に制御できるようになった。
- Search：検索エンジンのインデックス目的のクローラー
- Training：AIモデルの学習データ収集目的のクローラー
- Agent：ChatGPTのようにユーザーの代わりに動作するボット（AIエージェント）
Cloudflareのダッシュボードに追加されたAI botコントロール。Search・Training・Agentを個別に管理できる。
この変更はエンジニアやサイト運営者にとって実質的な意味を持つ。これまでは「全部許可」か「全部ブロック」の二択しかなく、検索インデックスには通したいがAI学習には使われたくない、という用途別の細かいニーズには対応できなかった。
9月15日から広告掲載ページはデフォルトでTraining・Agentをブロック
2026年9月15日以降、広告を掲載しているページでは、TrainingおよびAgentボットがデフォルトでブロックされる。広告の存在は「そのサイトが人間の訪問者を想定している」シグナルとCloudflareは判断している。Searchクローラーは引き続き許可される。
また、Googlebotのように検索とAI学習を兼務するクローラーについては、より厳しい方のルールが適用される。これらの新機能は無料プランのユーザーにも提供される。
ボット事業者への圧力：目的別に分けろ
Cloudflareはこの仕組みを通じて、ボット運営者に対してクローラーを目的別に分離することを求めている。CloudflareのCEO、Matthew Princeは以前からGoogleが検索クローラーとAI学習クローラーを一本化していることを問題視してきた。
2026年6月、PrinceはインターネットのボットトラフィックがついM初めて人間のトラフィックを上回ったと指摘している。当初は2027年末まで起きないと見ていた転換点が前倒しで訪れたかたちだ。この発言はCloudflareが観測するネットワークトラフィックデータに基づくものとされており、同社が今回の方針転換を急いだ背景にある。
エンタープライズ向け：BotBaseとVerified Bot要件の変更
エンタープライズ顧客向けには、既知のボットをすべて収録した検索可能なデータベース「BotBase」がダッシュボードに統合される。各ボットについて以下の情報を確認できる。
- ボットの分類方法（Search / Training / Agentのいずれか）
- コンテンツをリンクするだけか、全文複製するかといった利用方法
さらに、Verified Botの扱いも変わる。これまでは「Verified」ラベルがあれば自動的にアクセスが許可されていたが、今後はボットのカテゴリによってアクセス可否が判定される。「Verified」であるだけでは不十分で、正直に自己識別し、許可されたアクセスを乱用しないことを証明する必要がある。
Cloudflareのこの動きは、「AI botをどう扱うか」というWebインフラ全体の設計に影響を与える。自サイトのトラフィックの性質を把握したうえで、カテゴリ別のポリシーを設定する運用が今後求められる。
詳細はCloudflare replaces its blanket AI bot block with granular controls for search, training, and agent crawlersを参照していただきたい。
