8月14日、Digidayが「European publishers are getting hit harder by AI bot scraping, report finds」と題した記事を公開した。この記事では、欧州のパブリッシャーが北米と比べてAIボットによるスクレイピングの被害を大きく受けており、その原因をめぐって複数の仮説が対立している実態について詳しく紹介されている。

欧州サイトのスクレイプ頻度は北米の4倍

AIボット管理・収益化プラットフォームのTollBitが発表したレポートが、パブリッシャー業界に波紋を広げている。なお、TollBitはスクレイピングの管理・収益化を事業とする商業プレイヤーであり、このレポートはその文脈で発表されている点を念頭に置いて数字を読む必要がある。40社のスクレイピングベンダーが運用するAIボットを対象に、3,906パブリッシャー（うち欧州456サイト）のトラフィックを分析した結果、以下の格差が判明した。

• 欧州サイトへのAIスクレイプ中央値は北米の4倍
• 欧州パブリッシャーが受けるAIアプリ経由の人間の参照訪問は、AIボット訪問179回に対して1回——北米の3倍以上悪い比率
• 2026年上半期、欧州サイトへの外部参照のうちAIアプリ経由はわずか**0.05%**（北米は0.16%）

しかも状況は悪化している。2026年1月から6月にかけて欧州サイトへのAIスクレイプは約20%増加。スクレイプと参照訪問の比率はQ1の150:1からQ2には227:1まで悪化した。ローカルニュースとスポーツサイトで増加率が特に高い。

さらに深刻なのがrobots.txtの無視率だ。スクレイピング拒否を明示した欧州サイトのrobots.txtは、北米と比べて約3倍の頻度で無視されている。robots.txtはウェブサーバーのルートに置かれるテキストファイルで、クローラーに対してアクセス可否を伝える業界慣行だが、法的強制力はなく、AIボットがこれを遵守するかどうかは各社の判断に委ねられている。

なぜ欧州が標的にされるのか——多言語仮説

TollBitの共同創業者Olivia Joslinは、欧州が多言語地域であることを主因として挙げる。LLMが多言語対応を強化するにあたり、欧州のコンテンツを大量に収集しようとしているという見立てだ。

INMAのリサーチャーGrzegorz Piechotaも同じ方向の分析を示す。Anthropicの統計によれば、**Claude全体の利用者のうち米国ユーザーは21.6%**にすぎず、英語圏全体でも3分の1以下。つまりClaudeを含むAIの利用の大半は非英語コンテンツに紐づいており、そのスクレイピング活動も必然的に欧州に向かうというロジックだ。

「AIの消費者需要が非英語情報に向かっていることが、AI企業やそのデータサプライヤーの戦略に影響を与えている」——Grzegorz Piechota（INMA）

Piechotaの分析によれば、Common Crawl（AIの学習データに広く使われるオープンなウェブクロールデータセット）における欧州ドメインの割合は、**2009年の4.75%から2026年には29.98%**まで拡大しているとされる。ただしこの長期推移データは、TollBitレポートとPiechotaの分析のどちらに由来するか元記事内で明示されていないため、一次ソースの確認にはDigidayの原文を参照されたい。

データによって異なる「現実」

ただし、TollBitのレポートが示す構図に全員が同意しているわけではない。

Cloudflareのインターネット観測ダッシュボード「Cloudflare Radar」を統括するLai Yi Ohlsenは、「ボットリクエストの絶対数は一貫して北米の方が多い」と述べる。Cloudflareのメディア・パブリッシャーセクターのデータでは、欧州サイトの全リクエストに占めるボットの割合が高い一方、北米の総ボット活動量の方が上回る——つまり「割合」と「絶対数」で見え方が逆転する。

ボット対策企業DataDomeのJérôme Seguraも、「TollBitが示すような欧州と北米の一貫した差は自社データには見られない」と指摘。パブリッシャーごとの個体差が「massive（非常に大きい）」であり、地域平均で語ることの限界を示唆する。

「個別に見ると、地域に関係なく、AI訪問が人間訪問10回に1回というサイトも存在する。地域平均を超えて見ると、AIエージェントがサイトトラフィックに占める割合がいかに大きいかがわかる」——Jérôme Segura（DataDome）

各データソースが異なる方向を向いており、スクレイピングの実態は確かでも、背景の解釈は現時点で定まっていない。

エンジニア視点での示唆

今回の調査が浮き彫りにするのは、robots.txtというプロトコルの実効性の限界だ。法的拘束力がなく、AIボットの多くが無視している現状では、宣言的なアクセス制御に頼るだけでは不十分であり、技術的な防御を多層的に組み合わせる重要性が高まっている。

具体的な防御策としては主に以下の3層が挙げられる。

• レート制限（Rate Limiting）：単位時間あたりのリクエスト数を閾値で制限し、高頻度アクセスを自動的に遮断する。NginxやCloudflare WAFのルール設定で実装できる
• ボット検出（Bot Detection）：User-Agentの偽装を前提に、TLSフィンガープリント・マウス軌跡・JavaScriptチャレンジ（Turnstile等）を組み合わせて人間とボットを判別する。DataDomeやCloudflare Bot Managementのような専業サービスも選択肢になる
• IPブロック・ASNブロック：既知のクローラーIPや、AWSやGoogle CloudといったクラウドプロバイダーのASN（自律システム番号）単位でブロックする手法。ただし正規ユーザーへの巻き添えリスクがあるため、段階的な適用が推奨される

これらを組み合わせても、ボットがIPをローテーションしたり正規ブラウザを模倣したりする「高度な回避型ボット」には限界がある点も認識しておく必要がある。防御とイタチごっこになる構造は変わらないが、コストを上げることで無差別なスクレイピングを抑止する効果は期待できる。

なお冒頭で触れたとおり、TollBitはスクレイピング管理を事業とする商業プレイヤーであり、今回のレポートは自社サービスの訴求文脈で発表されている。数字の解釈にあたっては、CloudflareやDataDomeなど複数のデータソースと照合することが望ましい。

詳細はEuropean publishers are getting hit harder by AI bot scraping, report findsを参照していただきたい。