7月26日、Search Engine Journalが「Charging AI Bots Decides Which Agents Can Still Cite You」と題した記事を公開した。この記事では、CloudflareとAWSがAIクローラーへの課金機能を相次いで導入したことで、Webサイトのオーナーが「どのAIエージェントに自分のコンテンツを読ませ、引用させるか」を選択する時代が到来しつつある状況について詳しく紹介されている。

30年間眠っていたHTTP 402が動き出した

AIクローラーへの課金を可能にする仕組みの核心は、HTTP 402（Payment Required）というステータスコードだ。1997年にWeb仕様として定義されながら、約30年間ほぼ使われることなく放置されてきた。それがCloudflareとAWSによって、それぞれAIクローラー向けの課金機能に採用された。

Cloudflareのpay-per-crawl機能の仕組みはシンプルだ。パブリッシャーがドメインにリクエスト単位の価格を設定し、AIクローラーが支払い意思をリクエストヘッダーに含めれば200でコンテンツを返す。支払い情報がなければHTTP 402とともに価格情報を返す。CloudflareがMerchant of Recordとして決済を仲介し、クローラーとパブリッシャー双方のクリアリングハウスとして機能する。

AWSはWeb Application Firewall（WAF）にこの機能を組み込んだ。決済はCoinbaseが仲介しステーブルコイン（価格変動を抑えた暗号資産）で行われる。コンテンツパスごと、ボットの種類ごとに価格設定が可能で、Webサイトのコードを変更せずWAFのルールだけで制御できる点が特徴だ。

他にもTollBitが使用量ベースのAIアクセス課金マーケットプレイスを、AkamaiがTollBitおよびSkyfireとの統合でエッジレイヤーでの課金を発表している。これらの仕組みの共通基盤となっているのがCoinbaseのオープン標準x402だ。x402は事前登録なし・ステーブルコイン決済という設計を特徴としており、元記事ではボット向けの少額決済を広く受け取れる仕組みとして紹介されている。ただし、実際にどの範囲のボットが対応するかについては、後述のとおり現時点では未確定の部分が多い。

「課金＝収益」ではなく「課金＝可視性の選択」

記事が一貫して主張するのは、AIクローラーへの課金は収益の問題ではなく、可視性の問題だという点だ。

背景にあるのは壊れた取引だ。過去30年のWebの慣習は「クローラーを受け入れる代わりにトラフィックを得る」という暗黙の合意だった。しかしAIクローラーはその前半（コンテンツの収集）だけを実行し、後半（トラフィックの送り返し）を事実上放棄した。Cloudflareの分析によれば、AIボットのアクティビティの約80%はモデルの学習目的であり、実際に引用や回答として結果を返す検索目的のフェッチはごく一部に過ぎない。

一方で、AIが送り返すトラフィックがゼロかというとそうでもない。Adobeの2026年のデータでは、AI経由の米国小売サイトへの参照トラフィックが前年比393%増を記録している。つまり「コンテンツを引用して顧客を送り込んでくるクローラー」と「コンテンツを抽出するだけのクローラー」は、しばしば同一のパイプラインだ。有料化してブロックすれば、課金収入を得るのと引き換えに、AIの回答欄における自社の登場機会を消す可能性がある。

課金すべき相手は誰か

記事はサイトの性格によって判断が真逆になると整理している。

課金が合理的なケース：ニュースメディア、リファレンスデータベース、プロプライエタリなデータセットなど、ライセンス価値のある深いアーカイブを持つパブリッシャー。流通をAIクローラーに依存していないため、クローラーを拒否しても損失が少ない。

課金がリスクになるケース：AIが答える場所に自社が登場することを成長戦略の軸に置くコンテンツサイトやECサイト。この場合、クローラーこそが流通チャネルそのものだ。数セントを得る代わりに、顧客が質問する場所から自分たちが消える可能性がある。

記事は「まず自サイトに来ているAIボットを把握し、引用・参照を返してくるボットと何も返さないボットを分類してから判断せよ」と提言している。具体的には、1つのボットの1パスだけに課金を試みて、クロール量とAIの回答における自社の存在感の両方に何が起きるかを観察する、というアプローチを推奨している。

残された未解決問題：匿名ボットは払うのか

現時点では課金の仕組みは、支払い意思を明示できる識別済みの主要クローラーに対してのみ現実的に機能する。x402が目指す「事前登録なし・ステーブルコイン決済」という設計が幅広いボットに対して実際にスケールするかどうかは未知数だ。

これが実現すれば、課金モデルは一握りの大手AIクローラーだけでなく、より広範な自動トラフィックにまで適用範囲が広がる。実現しなければ、pay-per-crawlは大手パブリッシャー向けのニッチなツールにとどまる。この点が、今後の焦点となる。

記事の結論は明快だ。「見える請求書」はクローラーが払う料金だが、「見えない請求書」はAIの回答から自分が消えることだ。どちらを注視すべきかを、先に決めておく必要がある。

詳細はCharging AI Bots Decides Which Agents Can Still Cite Youを参照していただきたい。