11月2日、pbxscience.comが「OpenAI, Google, Microsoft and Anthropic Back a Shared robots.txt Signal for AI Training Opt-Outs」と題した記事を公開した。AI学習からコンテンツを守るためのrobots.txt設定は、これまで各社クローラーを個別に列挙する煩雑な作業だったが、OpenAI・Google・Microsoft・Anthropicの4社がIETFへのドラフト提案に支持を表明したことで、1行の記述で複数社に一括オプトアウトできる仕組みの標準化が現実味を帯びてきた。
1つのエントリで複数社に意思を伝える
これまでウェブサイト運営者がAI学習からコンテンツを守るには、各社のクローラーを個別にrobots.txtに列挙する必要があった。GPTBot（OpenAI）、Google-Extended（Google）、ClaudeBot（Anthropic）……社ごとに異なるクローラー名を管理する手間は小さくない。
今回発表された仕組みは、この状況を変えることを目指している。**__usage_ai-trainingというポリシートークン**をUser-Agent行に記述することで、対応各社に対して一括でAI学習の可否を伝えられるようになる。
具体的な記述例は以下のとおりだ。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
これはサイト全体をAI学習から除外しつつ、/press-kit/配下のみを許可する設定だ。従来のrobots.txt構文をそのまま使うため、既存のツールや知識がそのまま使える点は実用的である。
「標準」ではなくIETFへの提案
この仕様はAnthropicのエンジニア、Kevin Kelleyが起草し、2025年10月30日にIETFへ個人ドラフトとして提出した。IETFにはAI Preferences（aipref）というワーキンググループが存在し、そこでの議論を想定している。
このワーキンググループは、AIクローラーの急増を受けてウェブコンテンツの利用ポリシーを機械可読な形で表現するニーズが高まったことを背景に設立された。robots.txtの現行標準であるRFC 9309はクローラーのアクセス制御を定めているが、「データをどのような目的に使ってよいか」という利用意図の表明は対象外だ。今回のドラフトはその空白を埋めることを狙っており、RFC 9309の構文的な互換性を維持しながら、利用目的ごとのポリシー指定を可能にする拡張として位置づけられている。
ただし、現時点ではIETFが承認した正式な標準ではない。ドラフトは2027年5月3日に失効する予定であり、改訂されなければそのまま廃案となる。
各社の対応状況
| 企業 | 対応時期 | 備考 |
|---|---|---|
| OpenAI | 今後数ヶ月以内 | 詳細は後日発表。既存のrobots.txt制御は引き続き有効 |
| 2027年初頭 | Google-Extended未設定の場合、共通トークンをGoogle-Extendedの無効化として扱う |
|
| Microsoft | 2027年2月1日 | ページ単位の制御も追加。詳細は後述 |
| Anthropic | 日程未定（実装開始済み） | 既存クローラー制御と並行して対応中 |
Googleの注意点：学習とグラウンディングが連動する
Googleの既存クローラー制御であるGoogle-Extendedは、Geminiの学習（training）とグラウンディング（grounding）の両方をカバーしている。グラウンディングとは、AI回答を実際のウェブページに紐付ける処理（いわゆるRAG的な参照）のことだ。
今回の共通トークンはGoogleの実装ではGoogle-Extendedに対応付けられるため、AI学習をオプトアウトすると、Gemini AppsやVertex AIでのグラウンディングからも除外される可能性がある。これを避けたい場合は、Google-Extendedを明示的に設定する必要がある。なお、Googleは通常の検索結果への影響はないとしている。
Microsoftの実装はより細かい制御が可能
Microsoftは共通トークンの対応に加え、独自の拡張を行う。ページ単位でAI学習とグラウンディングの設定をメタタグまたはHTTPヘッダーで指定できるようになる。ページレベルの設定はrobots.txtの設定を上書きする。
グラウンディングにはAllow（デフォルト）、Disallow、そして**DisallowExtended**という3値が用意される。DisallowExtendedはMicrosoft自身のサービスへのグラウンディングは許可するが、第三者向けのグラウンディングサービスからは除外するという、より細かい制御だ。
また、Microsoftは旧来のNoArchive・NoCacheタグをAI制御として使う運用を廃止する。2026年12月15日からBing Webmaster Toolsで移行オプションが提供され、2027年3月1日以降はこれらのタグがAI制御として読まれなくなる。
重要な制限事項
このトークンを使う前に把握しておくべき制限がある。
- クロール自体は止められない。 このトークンはデータ「利用」への意思表示であり、クローラーのアクセスをブロックするものではない。アクセス制限は従来どおり各クローラーへの
Disallowが必要だ。 User-Agent: *は代替にならない。 ドラフト仕様上、ワイルドカードによる既存ルールはAI学習への意思表示とはみなされない。- 会社固有の設定や契約が優先される。 個別の設定や私的契約はこのトークンを上書きできる。
- 強制力はない。 仕様に違反しても制裁する仕組みは存在しない。
サイト運営者が今すべきこと
共通トークンが普及すれば管理コストは下がるが、現時点でどの企業もまだ実際には対応していない。最も早いAnthropicでも実装開始済みとしながら日程は未定であり、GoogleとMicrosoftは2027年初頭、OpenAIは「今後数ヶ月以内」という段階だ。
したがって当面は、**GPTBot・Google-Extended・ClaudeBot・Bingbotなどの各社クローラー名を使った個別設定を継続することが現実的な対応**となる。各社の公式ドキュメント（OpenAI・Google・Microsoft・Anthropic）で各クローラー名と挙動を確認しておきたい。
共通トークンへの移行は、各社が対応を開始した時点で段階的に切り替えを検討すれば十分だ。ただし、GoogleとMicrosoftについては学習とグラウンディングの制御が連動・分離される点に注意が必要で、それぞれの設定を別途確認することを推奨する。なお本ドラフトはあくまで提案段階であり、IETFでの議論を経て仕様が変更される可能性もある点も念頭に置いておきたい。
詳細はOpenAI, Google, Microsoft and Anthropic Back a Shared robots.txt Signal for AI Training Opt-Outsを参照していただきたい。
