8月15日、Search Engine Journalが「OpenAI Says Robots.txt May Not Apply To ChatGPT's Fetch Bot」と題した記事を公開した。この記事では、OpenAIがChatGPTのフェッチボットに対してrobots.txtのルールが適用されない可能性があると公式ドキュメントで示唆していることについて詳しく紹介されている。
「ユーザーが要求したページだから」というロジック
問題の核心は、OpenAIの公式クローラーに関するドキュメントにある。
ドキュメントには、ChatGPT-User（ChatGPTがユーザーの質問に答えるためにページをフェッチするボット）について、「ユーザーの操作によって開始されるアクセスであるため、robots.txtのルールが適用されない場合がある」と記載されている。
Perplexityも同様の理由でPerplexity-Userがrobots.txtを無視すると説明している。一方、Anthropicは立場が異なり、同社の3つのボットすべてがrobots.txtを遵守すると明言している（Search Engine Journalの2月の報道より）。
robots.txtはウェブサーバーへのアクセスを管理するためのデファクトスタンダードな規約だが、法的拘束力はなく、あくまでボット側の自発的な遵守に依存している。今回の問題はその限界を改めて浮き彫りにしている。
実際にどれくらいのサイトで無視されているか
TollBitが発表したState of the Bots レポート（2026年上半期版）によると、ヨーロッパのサイトを対象としたサンプルにおいて、識別されたAIフェッチボットが「disallow（アクセス拒否）」指定されたURLに到達した割合は**全体の約15%**だった。
特に顕著なのが以下の3つのエージェントだ：
- ChatGPT-User（OpenAI）
- Bytespider（ByteDance）
- Youbot（Youdao）
これら3つはいずれも、明示的にdisallow指定しているヨーロッパのサイトのうち約半数で実際にページへのアクセスが確認された。すなわち、disallowを設定した個々のURLすべてにアクセスされているということではなく、disallow設定を施したサイト群の約半数において、何らかのdisallowページへの到達が観測されたということだ。アクセス到達サイト数では、ChatGPT-Userが最多となっている。
なお、このデータはヨーロッパに限定されたサンプルであり、地域によって傾向が異なる可能性がある点は留意が必要だ。
ChatGPT-Userをdisallowしているサイトの割合はヨーロッパで**26%**に達しており、Claude-User（9%）やPerplexity-User（13%）と比較しても突出して高い。多くのサイト管理者がChatGPT-Userを意識してブロックしようとしているにもかかわらず、それが機能していない実態が浮かぶ。
「ブロック」の意味が変わってきている
記事が指摘するもう一つの重要な点がある。ChatGPT-Userをdisallowしてもブロックできるのはページフェッチのみで、ChatGPTの検索結果への掲載を制御するボットは別だ。
OpenAIのドキュメントによると、ChatGPTの検索結果にサイトを表示するかどうかを判断するのはOAI-SearchBotというボットであり、ChatGPT-Userとは別エンティティだ。つまり、両方のボットをdisallowしたサイトは、フェッチを防げる保証がないまま、検索流入の機会だけを手放している可能性がある。
サーバーログやCDNのアクセスログを確認すれば、実際に何が到達したかはわかる。robots.txtに書けるのは「要求した内容」だけであり、「実際に何が起きたか」ではない。
Cloudflareはネットワーク層で対処した
こうした状況を受けて、Cloudflareはすでに対応策を打ち出している。2025年9月15日より、Cloudflareに新規追加されたドメインでは、広告があるページに対してTrainingクローラーとAgentクローラーがデフォルトでブロックされるようになった（SearchクローラーはデフォルトでONのまま）。詳細はCloudflareの公式ブログに記載されている。
ボット自身の「自己申告」に頼るのではなく、ネットワーク層でコントロールするという方向性は、robots.txtの限界を超えるアプローチとして注目された施策だ。
「ユーザーがリクエストしたページのフェッチ」と「クローラーによる自律的なページ取得」を区別するというロジックは、今や主要なAIアシスタントすべてが採用しつつある。このロジックが今後も通用し続けるかどうかは、業界全体の問題として残ったままだ。
詳細はOpenAI Says Robots.txt May Not Apply To ChatGPT's Fetch Botを参照していただきたい。
