7月28日、Barry Schwartzが「Google indexed Claude Chats because Anthropic didn't block your private chats from search engines」と題した記事を公開した。AnthropicがClaudeのチャット共有URLに対して適切なクロール制御を設定していなかったため、ユーザーが共有機能で公開したチャットのURLがGoogleやBingの検索結果に表示される問題が発生した経緯と、その技術的背景について詳しく紹介されている。

何が起きたのか：共有チャットURLが検索結果に露出

Claudeには、特定のチャットスレッドを公開URLとして共有する「スナップショット」機能がある。claude.ai/share 配下に生成されるこれらのURLは、ユーザー自身が共有操作を行うことで生成される公開リンクであり、Anthropicが無断で公開したものではない。しかし問題は、その公開URLがAnthropicの設定ミスにより検索エンジンにインデックスされ、政治・健康など機微な内容を含む会話が第三者にも検索で到達できる状態になっていた点にある。

事象が報告された週末の時点では、site:claude.ai/share で検索すると数百件のチャットが確認できた。現在はすでに削除されており、検索結果には表示されない状態になっている。影響を受けたユーザーの正確な規模についてAnthropicは公表していないが、共有機能を利用していたユーザー全般が潜在的な対象となりえた。

この問題がSEOコミュニティで注目を集めたのは、単なるサービスの設定ミスにとどまらず、Webのクロール制御に関する基本的な仕組みの見落としが原因だったためだ。Anthropicは問題の報告を受けて修正対応を行ったが、その経緯の詳細についてはWiredを含む各メディアの取材に対してコメントを出していない。

robots.txtとnoindexを同時に設定すると何が起きるか

今回の問題の核心は、Webの基本的な仕組みにある。

技術的な原因はシンプルだ。**robots.txtでクロールをブロックしつつ、同時にnoindexタグをHTMLに設定しても、noindexは機能しない。** クローラーがページにアクセスできない以上、HTMLに書かれたnoindexディレクティブを読み取る手段がないからだ。

Googleの公式ドキュメントには、この点が明記されている：

「重要：noindexルールを有効にするには、そのページやリソースがrobots.txtファイルによってブロックされていないこと、かつクローラーがアクセスできる状態であることが必要です。robots.txtでブロックされているか、クローラーがアクセスできない場合、クローラーはnoindexルールを認識できず、たとえば他のページからリンクされている場合などに、そのページが引き続き検索結果に表示される可能性があります。」

つまり、noindexを使って検索結果から除外したいなら、クローラーにそのページを一度読ませる必要がある。クロールを完全にブロックしてしまうと、インデックス除外の指示自体が届かない。

この2つのディレクティブの使い分けはSEOの基礎だが、AIサービスの急速な普及の中で設定が適切に設計されなかったかたちになった。

Googleの立場とSEO専門家の反応

GoogleのスポークスパーソンであるNed Adrianceは、Wiredの取材に対して次のようにコメントしている。「GoogleやいかなるサーチエンジンもWebで公開されるページをコントロールする立場にはない。これらのページは複数の検索エンジンにまたがってインデックスされていた。サイトオーナーにはクロールやインデックスの可否を決める明確なコントロール手段を提供しており、われわれは常にそのディレクティブを尊重している」。

MicrosoftとAnthropicはWiredの取材に対してコメントを出していない。

SEO専門家のGlenn GabeはX上で、この件を報じた記事の技術的な誤りを指摘した。

「（報道には）誤った情報が含まれている。robots.txtでブロックし、かつnoindexを設定した場合、GoogleとBingはnoindexタグを見ることができない。クローラーがページを取得してHTMLのタグを確認できないからだ」

— Glenn Gabe（X投稿）

開発者が押さえておくべき教訓

今回のケースは珍しい話ではない。機密性の高いコンテンツがインデックスされて露出するという問題は繰り返し発生している。検索エンジン側の問題ではなく、コンテンツをホストする側のクロール制御の設定ミスがほぼ常に原因だ。

特に、共有URLを発行する機能を持つWebアプリを構築する際には注意が必要だ。ユーザーが「共有」操作を行った時点でURLは公開状態になるが、そのURLが検索エンジンにインデックスされるかどうかはサービス側のクロール制御設定に依存する。ユーザーが意図する「知人に共有する」と「検索エンジンに広く公開される」の間には大きなギャップがあり、サービス側がそこを適切に制御する責任がある。

具体的には以下の使い分けを確認する必要がある：

• robots.txtでブロック → URLの存在自体をクローラーに知らせたくない場合
• noindexタグ → クロールは許可するが、インデックスには載せたくない場合
• 両方を同時に設定しない → noindexが無効化されるため意味をなさない

AnthropicはAIチャットサービスという新しい領域を開拓しているが、共有URL機能の実装においてWebの基本的なインデックス制御が適切に設計されていなかった。AIサービスの機能拡張が急速に進む中で、古典的なWebの仕組みとの整合性を保つことの重要性を改めて示したケースといえる。

詳細はGoogle indexed Claude Chats because Anthropic didn't block your private chats from search enginesを参照していただきたい。