9月15日、Cloudflareが「Have it both ways: stay discoverable in search while disallowing AI training」と題した記事を公開した。検索インデックスへの掲載を維持しつつ、AI学習への利用だけを拒否できる新しい仕組みが、同日より提供開始となっている。
AI学習データをめぐる議論が活発化する中、多くのサイトオーナーが「クローラーをブロックしたいが、検索流入は失いたくない」というジレンマを抱えてきた。Cloudflareが提供する今回の仕組みは、そのジレンマに対するインフラレベルの解決策だ。
「検索インデックスを失わずにAI学習だけ止める」が可能になった背景
GoogleやApple、Microsoftのような大手プラットフォームは、検索インデックス構築とAI学習の両方を単一のクローラーで行う「mixed-use crawler（複合用途クローラー）」を運用している。このクローラーをブロックすると、AI学習だけでなく検索からの流入も失う。許可すれば、コンテンツがモデルの学習データになる。これまでサイトオーナーはどちらかしか選べなかった。
Cloudflareの統計によると、検索ボットをブロックしているサイトは全体の1%未満であるのに対し、AI学習を何らかの手段でブロックしているサイトは**17%**に上る。それだけ多くのサイトが「AI学習だけ止めたい」と考えているにもかかわらず、手段が整備されていなかった。
この問題の根本は、robots.txtがあくまで「お願い」にすぎない点にある。誰でも書けるが、クローラーが誰であるかを識別できず、無視するクローラーを止める手段もない。そこでCloudflareはネットワークレイヤーに介在することで、「設定の発行」「クローラーの識別」「用途の分類」「違反クローラーのブロック」「実際の挙動の報告」という一連のフローをインフラ側で完結させる仕組みを構築した。
「Disallow AI Training」設定と、Bot Preference Syncの仕組み
Cloudflareが今回導入した設定「Disallow AI Training」を有効にすると、Bot Preference Syncという通知機構を経由して、robots.txtにno-trainingの設定が自動反映される。Bot Preference Syncとは、Cloudflareがサイトオーナーの設定をクローラー運営者に通知するための仕組みで、ダッシュボードで設定を変更するだけでrobots.txtの内容が自動更新される。
この設定が有効になると、後述の「Accountable」に認定されたApple・Google・Microsoftのクローラーは検索目的でのクロールのみ許可され、AI学習目的はブロックされる。Amazon・Anthropic・Meta・OpenAIはSearch用とTraining用のクローラーがもともと分離されているため、Cloudflareがトレーニング用クローラーだけをブロックしても検索に影響しない。これらも「Accountable」として分類されている。
「Accountable」認定の要件と3社の対応状況
CloudflareはApple・Google・Microsoftを「Accountable（説明責任を果たす）」クローラー運営者として認定した。この認定はクローラー側の自発的な協力を前提とした制度であり、以下の要件をすべて満たす必要がある。
- robots.txtまたは同等の手段でAI学習のオプトアウト手段を提供すること
- AIサマリーへのオプトアウト手段を提供すること（Cloudflare経由での対応は2027年初頭を目標）
- 学習に使われたURLの可視性と、検索での表示状況に関するメトリクスを提供すること
- AI学習のオプトアウトが検索ランキングに影響しないと保証すること
各社の現状は以下のとおりだ。
- Apple（Applebot）：robots.txtで
Applebot-ExtendedをDisallowすることでオプトアウト可能。URLレベルの検査ツールは未提供だが、2026年中の提供を表明している。 - Google（Googlebot）：robots.txtで
Google-ExtendedをDisallowすることでオプトアウト可能。ウェブマスターポータルでのAIサマリー除外トグルも提供済み。URLレベルの透明性ツールを数週間以内にリリース予定としている。 - Microsoft（Bingbot）：現在は
NOARCHIVEメタタグによるオプトアウトに対応。robots.txtでのドメインレベルのno-training対応は2027年初頭を目標としており、3社の中で最も対応が遅れている。
なお、各クローラーの実際の動作はCloudflare Radarで公開されており、透明性の担保も試みられている。
設定の変更点と既存ユーザーの移行ルール
2026年9月15日から、クローラーの制御はSearch / Training / Agentの3つの軸で管理される。主要な設定の内容は以下のとおりだ。
- Allow：全クローラーを許可
- Disallow AI Training：Accountableな複合クローラーは検索目的のみ許可。Amazon・Anthropic・Meta・OpenAIのトレーニング専用クローラーはブロック
- Block on pages with ads：広告掲載ページでのみブロック
- Block：Applebot・Bingbot・Googlebot含む全クローラーを完全ブロック。検索流入にも影響する
既存ユーザーの設定は自動移行される。旧来の「Block AI Bots」でBlockを選んでいた場合、新設定ではTrainingが「Disallow AI Training」、Agentが「Block on pages with ads」に移行する。既存の細かいSearch/Training/Agent設定を使っていた場合、TrainingのBlockとBlock on pages with adsはどちらも「Disallow AI Training」に統一される。
新規ドメインのオンボーディングでは、広告収益モデルか否かに応じて2種類のプリセットが提示される。広告モデルのサイトにはより厳しいデフォルト設定（TrainingはDisallow AI Training、AgentはBlock on pages with ads）が推奨される。
今後の展望：AIサマリーへの制御も追加予定
Cloudflareは2027年初頭をめどに、AIサマリーへの掲載量を細かく制御できる仕組みの提供を目指している。現在は「掲載するかしないか」の二択だが、「どの程度掲載されるか」を設定できるようにする方針だ。
詳細はHave it both ways: stay discoverable in search while disallowing AI trainingを参照していただきたい。
