10月31日、Emma Rothが「The biggest names in AI are backing a new way to opt out of scraping」と題した記事を公開した。OpenAI・Google・Microsoft・Anthropicといった主要AI企業がそろって支持を表明した新標準だが、その実効性はAI企業側の「良心」に委ねられているという皮肉な実態がある。robots.txtに共通トークンを1行追加するだけで複数社に一括オプトアウトできる仕組みでありながら、Metaは「支持は表明するが遵守は約束しない」という姿勢を公式に示しており、標準化の意義と限界を同時に露わにしている。
robots.txtに「ポリシートークン」を置くだけで複数社に適用
現状、Webサイトが特定のAI企業のクローラーを拒否したい場合、OpenAI・Google・Anthropicそれぞれに対して個別に設定を記述する必要がある。この煩雑さを解消するのが、今回提案された「ポリシートークン（policy token）」方式だ。
提案者はAnthropicでスタンダード技術リードを務めるKevin Kelley氏で、**IETF（Internet Engineering Task Force）**を通じて標準化が進められている。IETFはHTTPやTLSなどインターネットの基幹プロトコルを策定してきた国際的な標準化団体であり、ここでの標準化提案は業界横断での採用を促す意味合いを持つ。ただし、IETFの標準はあくまで技術仕様の合意形成を目的とするものであり、法的拘束力を持つものではない。
仕組みはシンプルで、サイトのrobots.txtファイルに共通のトークンを記述することで、対応する複数のAI企業に対して一括でAI学習データとしての利用を拒否できる。robots.txtはもともと、検索インデックスやアーカイブ目的のWebクローラーに対してアクセス制御を指示するためのファイルとして1994年頃から長年使われてきた仕組みだ。これをAIスクレイピングのオプトアウトにも活用する形になる。
各社の対応状況
記事公開時点（2024年10月31日）における各社の対応状況は以下の通りだ。
- Anthropic：すでに採用済み
- GoogleおよびMicrosoft：2025年以降にサポート予定
- OpenAI：「数ヶ月以内」に実装予定
- Meta：広報担当のAndy Stone氏が支持を表明したが、実際に遵守するかどうかは明言していない
Stone氏は「複数のプロバイダーに一度に意向を伝える共通シグナルを作ることは重要なステップだ。業界全体での標準策定と実装に向けて他のAI企業と協力していきたい」とコメントしている。
Microsoftはさらに粒度の細かい制御も提供する方針で、パブリッシャーがAIトレーニング用途とAIグラウンディング用途を個別にオプトアウトできるようにする。AIグラウンディングとは、AIモデルに対して信頼できる情報源を参照させることでハルシネーション（誤情報の生成）を抑制するプロセスを指す。なお、MicrosoftはBingの通常検索結果への表示は設定に関係なく継続されると明言している。Googleもすでに同様の仕組みを導入しており、AI検索機能での利用とAI学習での利用を、通常の検索表示に影響させることなく制御できるようにしている。
背景：増え続けるAIクローラーへの対抗策
パブリッシャー側では、許可なくコンテンツを収集するAIクローラーへの対応が長らく課題となっている。これまでの対抗手段としては、コンテンツにライセンス料を課せる**RSL（Really Simple Licensing）標準や、CloudflareがデフォルトでAIクローラーをブロックする機能**などが登場していた。RSLはW3Cコミュニティグループが策定を進めるライセンス表明の仕組みで、サイトがコンテンツの機械学習利用に対して条件（有償・無償など）を明示できるようにするものだ。
今回の標準化の動きは、こうした個別対応の限界を超えてプラットフォーム横断で機能する仕組みを作る試みとして位置づけられる。robots.txtという既存インフラを活用することで、技術的なハードルを低く保ちながら業界横断の合意形成を図っている点が特徴だ。
実効性への懐疑
一方で、この仕組みが実際に機能するかどうかはAI企業側の自主的な遵守に依存している点が根本的な課題だ。robots.txtはもともと法的拘束力を持たず、遵守はあくまでも各社の判断に委ねられる。IETFでの標準化が進んでも、その性質上、違反に対する制裁手段は存在しない。
Metaが「支持は表明するが遵守は約束しない」という姿勢を公式に示していることは、この問題を端的に示している。主要AI企業が支持を表明した標準でありながら、その実効性が参加企業の善意に依存するという構造は、今後の議論の焦点になりうる。
詳細はThe biggest names in AI are backing a new way to opt out of scrapingを参照していただきたい。
