10月31日、madrobot.blogが「OpenAI, Google, Microsoft and Anthropic will obey one robots.txt line that opts your site out of AI training」と題した記事を公開した。この記事では、OpenAI・Google・Microsoft・Anthropicの4社が、robots.txtに1行追加するだけでAIトレーニングへのデータ利用をオプトアウトできる共通シグナルの実装に合意したことについて詳しく紹介されている。

生成AIモデルの急速な普及に伴い、自社コンテンツが無断でAI学習に利用されることへの懸念はサイトオーナー・パブリッシャーの間で高まり続けている。しかし現状では、各社のクローラーを個別に把握してrobots.txtを更新し続けるのは現実的なコストがかかる。この「いたちごっこ」を根本から解消しようとする共通シグナルの枠組みが、ついに主要4社の合意という形で動き出した。

1行で4社まとめてブロック

これまでAIトレーニングへのデータ利用を拒否するには、GPTBot、ClaudeBot、Google-Extendedなど各社のクローラー名を個別にrobots.txtへ列挙する必要があった。しかも各社が新しいボットを追加するたびにリストを更新しなければならない。

その手間を一掃するのが、IETF（Internet Engineering Task Force）のAI Preferences（aipref）ワーキンググループが策定中の共通シグナルだ。Anthropicのエンジニア、Kevin Kelleyが執筆したInternet-Draftとして提出されており、__usage_ai-trainingというポリシートークンをUser-Agentに指定する形式をとる。

実際に使うrobots.txtの記述はこうなる：

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

サイト全体をオプトアウトしつつ、プレスキットのディレクトリだけは許可する、といった細かい制御も可能だ。

既存のrobots.txtに影響はないか

重要な注意点がある。既存のUser-Agent: *によるキャッチオールルールは、この新しい訓練オプトアウトとしてカウントされない。Kelleyはaiprefワーキンググループのメーリングリストで次のように述べている：

A robots.txt file that doesn't use this mechanism, as is true of every one published today, expresses no preference at all.

— Kevin Kelley（Anthropic）、IETF aipref ワーキンググループ メーリングリスト

つまり、サイトオーナーが明示的に__usage_ai-trainingグループを追加しない限り、現状から何も変わらない。

各社の対応スケジュール

4社それぞれの実装時期は以下のとおりだ：

• Anthropic：既に実装を開始済み。ただし全サービスへの展開には時間がかかるとしている。
• OpenAI：「今後数カ月以内」に実装予定。既存のGPTBotクローラー制御は引き続き有効（※リンク先は元記事掲載時点のもの。URLが変更されている場合は公式サイトで確認を）。
• Google：2027年中にサポート予定。新トークンでオプトアウトしたサイトは、Google-Extendedでブロックした場合と同等に扱われる（※リンク先は元記事掲載時点のもの）。
• Microsoft：2027年2月1日から、Bingの再クロール時に反映（※リンク先は元記事掲載時点のもの）。

各社固有のクローラー制御（Google-Extendedなど）は新トークンと併用可能だ。たとえば全社をオプトアウトしつつ、特定の1社だけその社独自のトークンで許可するといった設定もできる。

一方、Meta・Apple・Amazon・xAIは記事公開時点（金曜夜）でサポートを表明していない。とりわけMetaは逆方向に動いており、新しいビジネス規約ではサイトをクロールしてAI訓練に利用することをオプトアウトなしで認める内容になっている。

何をブロックして、何をブロックしないか

このトークンが対象とするのは、「生成AIモデルの学習パラメータを変更するためにコンテンツを使用すること」と定義されるAIトレーニングのみだ。検索インデックスへの収録は対象外であり、AIがリアルタイムで回答生成のためにページを参照する「グラウンディング」も対象外となる。

Microsoftはグラウンディング向けに別途、<meta name="Bingbot" content="ai-grounding:disallow">というメタタグによる制御を用意している。また、現在NoArchiveやNoCacheタグでMicrosoftのAI利用をブロックしているサイトは、2027年3月1日までに新方式へ移行する必要がある。

限界と注意点

このシグナルはあくまで任意の申告であり、技術的な強制力はない。ドラフト自体にも「クロール動作への指令ではない」と明記されており、robots.txtを無視するスクレイパーはこのトークンも無視する。

また、このInternet-Draftは個人提出の段階であり、IETFとしての正式な標準ではない。2027年5月に期限切れとなるため、更新されなければ失効する。

さらに重要な点として、このシグナルは「将来の収集」にのみ適用される。適用されるのはページが取得された時点での設定であり、すでに収集済みのコンテンツには効力を持たない。カナダの大手新聞社がAnthropicを訴えた訴訟のような、過去のデータ収集に関する問題は解決されない。私的なライセンス契約によってオプトアウトが上書きされる可能性もある。

今後Meta・Apple・Amazonなどがどう動くかで、このシグナルの実効性は大きく変わる。Webコンテンツを持つ開発者・サイトオーナーにとっての実践的な示唆としては、まずAnthropicがすでに実装済みという点が重要だ。すぐに対応できる状況にある今、robots.txtへの1行追加という低コストな作業を早めに済ませておくのが現実的な選択肢といえる。Googleは2027年中、MicrosoftはBingの再クロールが始まる2027年2月1日以降に順次反映されるため、いずれにせよ対応が遅れても即座に不利益が生じるわけではないが、クロールのタイミングは自分でコントロールできない。設定は1行追記するだけなので、後回しにする理由は乏しい。

詳細はOpenAI, Google, Microsoft and Anthropic will obey one robots.txt line that opts your site out of AI trainingを参照していただきたい。