11月9日、Dataconomyが「Google, Microsoft join AI training opt-out plan for websites」と題した記事を公開した。Google・Microsoft・OpenAI・AnthropicがWebサイト運営者向けのAI学習オプトアウト共通規格に合意したことを伝えている。自主規制の枠組みとはいえ、業界を代表する4社が同一の仕様に揃って合意するのは初めてのことであり、今後のWebとAIの関係を考えるうえで注目に値する動きだ。
robots.txtに新たなトークンを追加するだけで4社すべてに効く
これまでWebサイト運営者がAIクローラーを制御するには、各社のクローラーを個別に指定する必要があった。GoogleであればGoogle-Extended、OpenAIであればGPTBot、AnthropicであればClaude-Webといった具合に、1社に複数のクローラーを持つ企業もあり、robots.txtの管理は煩雑になっていた。
今回合意された仕組みは、robots.txtにAI-Training: disallowという一行を追加するだけで、参加する全社に対してAI学習への利用拒否を一括で伝えるというものだ。仕様はAnthropicのKevin KelleyがIETF（Internet Engineering Task Force）に提出したInternet-Draftとして公開されており、IETFのdatatrackerから草案の進捗を確認できる。
User-agent: *
Disallow:
AI-Training: disallow
重要な制約が3点ある。
- デフォルトは「許可」：トークンを明示しない限り、AIへの学習利用は許可されたとみなされる
- 既収集データには適用されない：各社がすでに収集済みのコンテンツには遡及しない
- クロール自体は止められない：このトークンはコンテンツの「利用方法」を制御するものであり、クローラーがページを取得する行為そのものを技術的に阻止するものではない
各社の対応スケジュールにばらつき
合意したとはいえ、実装時期は各社で異なる。
| 企業 | 実装時期 |
|---|---|
| Anthropic | 実装開始済み |
| OpenAI | 数ヶ月以内 |
| Microsoft | 2027年2月1日から |
| 2027年を目標 |
また、IETFの公式ドキュメントとしての位置づけについては注意が必要だ。現時点ではIETFが承認した標準ではなく「individual draft（個人提案）」に過ぎず、IETFの正式な支持を得ていない。2027年5月3日までに改訂されなければ草案は失効する。
各社の実装における細かい差異
Googleは、このトークンでオプトアウトしたサイトをGoogle-Extendedで個別指定した場合と同等に扱う方針だ。ただしGoogleのドキュメントでは、AIトレーニングへのオプトアウトとGeminiアプリでのグラウンディング（RAGなどへの利用）を分離する手段は現時点で説明されていない。
Microsoftは学習とグラウンディングに別々の制御を提供する。DisallowExtendedオプションを使うと、CopilotなどMicrosoft自身の製品向けにはコンテンツを提供しつつ、外部企業向けのグラウンディングサービスへの提供を除外できる。
Metaは共通シグナルを支持しているが、採用を約束していない。 Meta自身のビジネスアカウントにリンクされたWebサイトをクローリングできる条項を含む商業規約について批判を受け、利用目的のリストからトレーニングを削除した改訂版を11月20日に提出する予定とされている。ただしNews/Media AllianceのSam Quigleyは「リストから削除されてもトレーニングに使われる可能性は残る」と指摘している。
訴訟と業界の背景
この動きが加速した背景には、AIと著作権をめぐる訴訟の増加がある。The New York Timesは2023年12月にOpenAIとMicrosoftを提訴、両社はフェアユースを主張して争っている。Anthropicは著者らによる海賊版書籍利用に関する訴訟で15億ドルの和解に合意。Penske Mediaは2025年にGoogleのAI Overviewsを巡って提訴した。
インフラ側では、CloudflareがAIクローラーを2025年7月より新規顧客向けにデフォルトでブロックする設定を導入し、クローラーに対してアクセスごとに課金する仕組みも提供している。同社のブログ「Block AI bots, scrapers and crawlers with a single click」ではその技術的背景が詳しく解説されており、今回の共通シグナルが普及した場合に求められるインフラ側の対応を考えるうえでも参考になる。
Googleはこの共通トークンが、EUの汎用AI実施規範（EU AI ActのCode of Practice）に沿ったものだと説明している。同規範はrobots.txtをパブリッシャーの機械可読なオプトアウト手段として位置づけている。
今回の動きは、あくまで自主規制の枠組みであり、robots.txtと同様に技術的な強制力はない。私的な契約によって上書きも可能だ。ただし4社が揃って共通の仕様を採用するのは業界の変化として見逃せない。
詳細はGoogle, Microsoft join AI training opt-out plan for websitesを参照していただきたい。
