7月1日、Digidayが「How Time and others are rebuilding parts of the web for AI agents」と題した記事を公開した。AIクローラーを「いかにブロックするか」が業界の主題だった時代は終わりつつある。TimeやThe Economistなど大手パブリッシャーの一部は、AIエージェントが効率的にコンテンツを取得できるようサイトそのものを作り直す実験を始めており、Webのアーキテクチャそのものが問い直されている。

「ビルドすべきか」という根本的な問いと、それでも動く理由

この動きに対し、インディペンデントのパブリッシャーコンサルタントであるScott Messer氏（Messer Media）は冷静な問いを投げかける。

「エージェント向けにビルドする価値があると信じるなら、ビルドすべきだ。そう信じないなら、なぜビルドするのかを問うべきだ。」

エージェントがコンテンツを取得しても、クリックも広告インプレッションも発生しない。ビルドはコストになるだけだ。「AI検索から消えたくない」という恐怖だけでアーキテクチャを変えることには意味がない——これがMesser氏の主張だ。

ただし、Messer氏自身も認めているように、この問いへの答えはビジネスモデルによって大きく異なる。ハードなペイウォール型の報道メディアと、広告収益に依存するライフスタイル系メディアとでは、AIエージェントへの最適化がもたらす損益計算はまったく異なる。この前提を踏まえたうえで、各社の動きを見ていく。

AIボットを「締め出す」から「迎え入れる」へ

背景にあるのは「エージェンティックWeb」への移行だ。ユーザーに代わってAIエージェントが情報収集・意思決定を行う世界では、エージェントに読まれないコンテンツはAI検索で「存在しないも同然」になりうる。この構造変化が、パブリッシャーの方針転換を促している。

TimeがHTMLをMarkdownに変換、トークン数を90%削減

最も具体的な動きを見せているのがTime誌だ。同社は全ウェブページをHTMLからMarkdown形式に変換している。

HTMLはブラウザとヒトのために設計されており、レイアウト・スタイル・ナビゲーション情報が大量に含まれる。AIエージェントにとって、これらは不要な「ノイズ」だ。Markdownはそれらを取り除き、コンテンツとメタデータだけを渡す。

この変換にTimeが使っているのが**TollBit**だ。パブリッシャーとAI企業をつなぐマーケットプレイスで、オンボーディング時にMarkdown版の「エージェントサイト」を自動生成する。TollBitのCEO、Toshit Panigrahi氏はこう説明する：

「HTMLタグやJavaScript、CSSなどコンテンツと無関係な要素がページを膨張させている。Markdownに変換することで、平均してトークン数を90%削減できる。AIはHTMLのパースにリソースを費やさず、記事の内容をより多く処理できる。」

TollBitの比較データによれば、大きなHTMLページのスクレイピングと処理には1分以上かかることがある一方、TollBit経由の構造化コンテンツ取得は0.25秒で完了するという。

Timeの最高執行責任者Mark Howard氏によれば、承認済みのAIボットはMarkdown版にリダイレクトし、人間ユーザーは通常のHTMLページに誘導するという二段構えの仕組みを構築済みだ。先月にはデフォルトで全AIボットをブロックし、ホワイトリストで許可するボットを管理する体制も整えた。

この取り組みの目的はAI検索での視認性向上だ。加えてHoward氏は、Timeがブランド向けに販売しているGEO（Generative Engine Optimization）製品の訴求力強化にもつながると述べている。

※GEOとは、SEO（検索エンジン最適化）のAI時代版とも言える概念だ。従来のSEOがGoogleなどの検索結果ページへの表示を最適化するのに対し、GEOはChatGPTやPerplexityといった生成AIの回答・推薦に自社コンテンツが取り上げられやすくするための施策を指す。AIボットトラフィックにおけるドメインオーソリティの高さを商機として活用しようという狙いがある。

The EconomistとWebMCP——それぞれ異なるアプローチ

The Economistも同様の実験を進めているが、アプローチは絞り込まれている。ペイウォール外のコンテンツ全体ではなく、マーケティングコピーやB2B営業資料など限定的な領域からスタートしている。購読ベースのビジネスモデルゆえ、有料コンテンツの価値を毀損するリスクを慎重に考慮した判断だ。

名前を伏せた別の大手ニュースパブリッシャーは、さらに異なる手法としてWebMCPを試験導入している。WebMCPはGoogleが提案するWeb向けの新しい仕様で、AIエージェントがサイトをスクレイピングやクリック操作なしに構造化データを直接取得できるようにするものだ。AnthropicのMCPとは異なる仕様で、GoogleのChrome開発者向けブログで詳細が公開されている。

この担当幹部はコスト面のメリットも強調している：

「ボットが通常のヒト向けサイトにアクセスすると、そのページ配信にCDNコストがかかる。エージェント向けに最適化すれば、そのコストを抑えられる。Googleはこれをエージェント層全体の標準として提案している。」

社内向けの副次効果もある。ウェブページデータとAIシステムの接続を標準化することで、パブリッシャー自身の社内AIツールがコンテンツにアクセスしやすくなり、内外向けのAIプロダクト改善にも波及しうるという。

フランスの日刊紙Le Mondeは、エージェントが有料購読者を代理しているかどうかを検出する仕組みの実験も行っている。

エージェンティックWebへの対応は、まだ実験フェーズだ。Markdownへの変換、WebMCPの採用、ボットのホワイトリスト管理——アプローチは各社でまちまちだが、「エージェント向けにビルドする価値があるか」というMesser氏の問いは、すべてのパブリッシャーが自社のビジネスモデルに照らして答えを出さなければならない問いでもある。広告依存か購読モデルか、オープンかペイウォールか——その違いが、AIエージェントへの最適化投資の是非を分けることになる。

詳細はHow Time and others are rebuilding parts of the web for AI agentsを参照していただきたい。