10月29日、Renato Losioが「Cloudflare Introduces Web Search API for AI Applications」と題した記事を公開した。CloudflareがAI Gateway経由でWeb Search APIをベータ公開したというニュースだが、注目すべきは単なる検索機能の追加ではなく、「AIエージェントがURLを推測して404を踏み続ける」という構造的な問題への対処と、検索コストをモデル推論コストと同一ダッシュボードで管理できるようにする設計思想にある。

AIエージェントの「URL推測問題」を解消する

AIエージェントがリアルタイムの情報を取得する際、これまで一般的だったアプローチはURLを推測してcurlするというものだった。Cloudflareのグループプロダクトマネージャー Michelle Chen、シニアディレクター Sam Else、シニアシステムエンジニア Gabriel Massadasは、この課題を次のように説明している。

エージェントがライブWebページを取得する必要があるとき、通常はURLを推測してツールコールを実行する。これが、エージェントがURLを誤って推測したときに404が返ってくる理由だ。URLをランダムに推測し続けるのは、効率的とは言えない。

この問題に対応するため、CloudflareはAI Gatewayを通じたWeb Search APIをベータ公開した。REST APIおよびCloudflare Workersから利用可能で、AIエージェントが推測なしに最新のWeb情報を取得できるようになる。

AI GatewayはCloudflareが提供するAIトラフィック管理レイヤーで、OpenAIやAnthropicなど複数のLLMプロバイダーへのリクエストを一元的にルーティング・ログ記録・コスト可視化する既存サービスだ。今回のWeb Search APIはその延長線上に位置付けられており、検索リクエストもモデル推論と同じ観測基盤に統合される点が特徴である。

構造：統合ゲートウェイとしてのAI Gateway

このAPIの特徴は、単なる検索機能の追加にとどまらない点にある。検索リクエストのログをモデル推論のログと同一の場所に記録し、検索の課金をAI Gatewayに統合することで、AIアプリの可観測性・コスト管理を一元化する設計になっている。

現時点でサポートされる検索プロバイダーは以下の3社だ。

• Ceramic.ai — AIエージェント向けのWeb検索・コンテンツ取得に特化した比較的新興のプロバイダー。公式サイトはceramic.ai。
• Exa — ニューラル検索を活用し、キーワードではなく意味的な類似性でWebを検索するAPIプロバイダー。RAGやエージェントへの組み込みを主要ユースケースとして位置付けている。
• Linkup — ライブWebコンテンツの取得とRAGパイプラインへの統合を主目的とした検索APIサービス。ソースリンクの返却を標準でサポートしている。

いずれも汎用検索エンジンとは異なり、AIエージェントやRAGパイプラインへの組み込みを前提に設計されたAPIファーストのサービスである点が共通している。知名度では大手に及ばないものの、エージェント用途に特化した機能セットを持つ。

利用方法はシンプルで、RESTエンドポイントに対してAI Gatewayの認証トークンと検索プロバイダーを指定するだけだ。また、自社で既存プロバイダーとの契約を持つ場合はBring Your Own Provider Keysにも対応している。

プロバイダーに対しては、CloudflareのVerified Botの要件への準拠と、クロールコンテンツのソースリンク返却を義務付けている。Chenらはこの方針について「クリエイターが自分のデータをどう扱うかを決められるようにするためのルールであり、公正なインターネットにとってプラスになる」と述べている。

Hacker Newsでの反応：利便性より利用規約への懸念

Hacker Newsのスレッドでは、検索品質やデータ保持制限について議論が交わされた。

Simon Willison（Django共同創設者・Datasette作者として知られるオープンソース開発者）は、検索APIにおける利用規約の問題を鋭く指摘している。

検索APIに対して私が必ず確認するのは、取得した結果を保存・再配信できるかどうかだ。エージェントシステムを運用していて、レスポンスの保存も「トランスクリプトの共有」ボタンも許可されないなら、かなり深刻な制限になる。その答えは決まって利用規約の奥深くに埋もれている。

CloudflareはZero Data Retentionをサポートするプロバイダーを明示する方針を示しており、この懸念への対応を意識した姿勢が見える。また、検索費用はプロバイダーの定価のまま提供し、上乗せマージンは取らないとしている。

一方、Erato LabsのCTO兼共同創業者 Maximilian Goisserは、より大局的な視点でこの動きを評価している。

Cloudflareはすでに使っている企業にとって、AWSやGCP、Azureのような「メインのクラウドサプライヤー」に近い地位を確立しつつあると思う。大半のクラウドコストをそこに集約することで、新たな調達プロセスを踏まずに済む。

今後の展開

Cloudflareは今後、Web検索を皮切りにAI Gatewayへのネイティブサーバーツールの追加を計画している。現時点ではCloudflare Workersを使ってワークフローに組み込む形となるが、将来的にはより深い統合が予定されている。AIエージェント基盤としてのCloudflareの位置付けが、インフラレイヤーからアプリケーションレイヤーへと着実に広がりつつある動きとして注目される。

詳細はCloudflare Introduces Web Search API for AI Applicationsを参照していただきたい。