7月1日、Cloudflareが「Content Independence Day, one year on: building the business model for the agentic Internet」と題した記事を公開した。この記事では、AIクローラーによるコンテンツ消費が急拡大する中で、Webコンテンツのビジネスモデルがどのように変容しているかについて詳しく紹介されている。以下に、その内容を紹介する。
インターネットトラフィックの過半数が非人間になった
2026年6月時点で、インターネット上のトラフィックの50%以上が非人間（ボット・エージェント）になったとCloudflareは報告している。これは「エージェントインターネット」という新局面への到達を意味する。
さらにクローラーの目的構成が劇的に変化している。
- **AIトレーニング目的のクローラー: 52%**（2025年春時点では22%）
- 検索・エージェント・トレーニングを混合した「混合用途クローラー」: 36%以上
- 純粋な検索クローリング: 小規模かつ減少傾向
1年で検索クローリングの比率が急減し、AIトレーニング目的が主役に躍り出た格好だ。
AIの普及速度も際立っている。スマートフォンの普及速度の2倍以上というペースで、わずか3.5年で世界人口の30%超にあたる25億人が生成AIを日常的に使うようになった。
「検索→訪問」という旧来の経済モデルが崩壊
数十年にわたりWebの経済モデルは単純だった。コンテンツクリエイターは検索エンジンにコンテンツを提供し、見返りとして「リファラルトラフィック」を受け取る。そのトラフィックが広告収入やアフィリエイト収益の源泉だった。
この構造が今、根底から崩れている。
現在、オンラインで情報検索に費やす1時間のうち、オープンウェブの閲覧に充てられるのはわずか15分だ。ユーザーはAIにプロンプトを入力し、まとめられた回答をその場で受け取る。複数サイトを巡回して情報を比較するという行動が消えつつある。
影響は特定業種に留まらない。最も多くクロールされているカテゴリでは、1年未満で人間トラフィックが最大40%減少したケースもある。ニュース・メディアが先行して打撃を受け、現在はリテール、ソフトウェア、IT、金融まで同様の動きが広がっている。多くのパブリッシャーが「Google Zero」——検索リファラルがほぼゼロになる世界——に備え始めている。
コンテンツに「希少性」が生まれ、ライセンス市場が動き出した
Cloudflareは1年前、新規ドメインに対してAIトレーニングクローラーをデフォルトでブロックする設定変更を実施した。これによりパブリッシャーは初めて、自分のコンテンツへのAIアクセス状況をネットワークレベルで把握・制御できるようになった。robots.txtのような任意基準より格段に実効性が高い仕組みだ。
可視化がもたらしたのは「希少性」だ。アクセスを制御できるようになったパブリッシャーは、どのLLMが何回コンテンツにアクセスしようとしたか、最も需要の高いURLはどこか、クロール数対リファラル比率はどうかといったデータを交渉材料として使えるようになった。これが情報の非対称を崩し、ライセンス交渉での立場を強化した。
結果として市場は動いている。
- 2023年以降、50件以上のパブリッシャーとAI企業間のライセンス契約が締結
- 主要AI企業がプレミアムコンテンツのライセンス取得に動き出している
- 集団ライセンスモデルも拡大しつつある
「コンテンツに対して補償すべきかどうか」という議論は終わり、「どのように補償するか」の段階に移ったとCloudflareは表現している。
Googleだけが別格の問題を抱えている
この市場においてGoogleは特殊な位置にある。リファラルトラフィックの約**88%**を占める絶対的なゲートウェイでありながら、自社のAI体験内でコンテンツを直接消費させる方向に進んでいるからだ。
多くの主要AI企業は「発見用クローラー」と「トレーニング用クローラー」を分離しており、パブリッシャーはどちらを許可・拒否するか選択できる。しかしGoogleは両者を統合した混合用途ボットを使い続けている。
この結果、Googleは主要AI企業の約2倍の情報にアクセスできている。パブリッシャーはGoogleの検索エコシステムに参加するためにはGoogleのAIエコシステムにも参加せざるを得ず、目的別の制御ができない状態だ。クロールが検索目的なのかAI目的なのか、パブリッシャーには判別する手段がない。
Cloudflareの次の一手
Cloudflareによれば、現在もネットワーク上のクローラーアクティビティの3分の1以上が混合用途ボットによるものだ。Cloudflareはエコシステム全体でのボット自己申告・クロール目的の明示を標準化する取り組みを続けるとしている。
CloudflareはWebの20%以上を自社ネットワーク上に抱え、世界で最も訪問数の多いWebサイトの36%、Fortune 500企業の40%以上が顧客だ。さらに主要AI企業の約80%もCloudflareを利用している。コンテンツの供給側と消費側の双方を見渡せるこの位置から、新たなコンテンツ市場のインフラ整備を進める構えだ。
詳細はContent Independence Day, one year on: building the business model for the agentic Internetを参照していただきたい。
