DoorDashのAIアシスタントがコンバージョン24%向上を達成した設計思想 — 「LLMに全部やらせない」アーキテクチャの詳細

7月13日、Leela Kumiliが「How DoorDash Built an AI Shopping Assistant That Doesn't Rely on the LLM Alone」と題した記事を公開した。この記事では、DoorDashがLLM単体に依存しない構成でAIショッピングアシスタント「Ask DoorDash」を構築したアーキテクチャについて詳しく紹介されている。以下に、その内容を紹介する。

「LLMに全部やらせない」設計が生んだ成果

LLMを使ったチャット型UIを作ること自体は難しくない。問題は、それを実際のビジネス指標に結びつけることだ。DoorDashが公開したAIアシスタント「Ask DoorDash」の事例が注目されるのは、実測値を伴う本番稼働の報告であり、かつLLM単体に頼らないアーキテクチャの詳細が公開されている点にある。

報告された主な数値は以下のとおりだ：

グロサリーのチェックアウトコンバージョン：約24%向上
バスケットサイズ：17%増加
会話のターン数：7%削減（7日間の評価期間）
レストラン探索の開放型クエリにおけるコンバージョン：15%向上

共同創業者のAndy Fangは「Ask DoorDashはグロサリーカートを手動の約5倍速く構築でき、1回のプロンプトで2分以内にカートを完成できる」と述べている。

アーキテクチャの核心：MCPによるツール層の分離

Ask DoorDashのアーキテクチャは、オーケストレーション（調整役）とビジネスロジックを明確に分離している点が特徴だ。

中核となる「Assistant Runtime」が複数の専門エージェントを束ね、その下にMCP（Model Context Protocol）ベースのツール層が共有インフラとして置かれる。このMCP層が、カタログ検索・レコメンデーション・カート操作・チェックアウト・注文履歴・消費者メモリといったビジネス機能を提供する。

プロンプトにビジネスロジックを直書きせず、既存のDoorDashサービスをバックエンドとした再利用可能なツールとして公開することで、複数のAIエクスペリエンスが同じ統合を共有しつつ、バックエンドの機能は独立して進化できる構成になっている。

DoorDash Assistantのランタイムアーキテクチャ（出典：DoorDash Blog）

3層のメモリが「文脈の正確な注入」を実現する

DoorDashが「インテリジェンス層」と呼ぶコンポーネントの中で、エンジニアリング的に最も興味深いのが3種類のメモリシステムだ。

メモリ種別	内容
長期メモリ	過去の行動履歴からオフラインで生成。好みの料理ジャンルや食事制限などを保持
セッションメモリ	1回の会話内のコンテキストを維持
エージェントメモリ	会話中にユーザーが明示的に伝えた事実を保存

これらのメモリはセマンティックベクトル検索で取得・ランキングされ、プロンプトに組み込まれる。メモリ管理とモデル推論を分離することで、LLMが「今この瞬間に必要なコンテキストだけ」を受け取る設計になっている。

DoorDashのRecSys・Search LeadであるRaghav Sabooは次のように述べている：

Building a useful AI agent is hard. Knowing if it is actually good is even harder.
（役に立つAIエージェントを作ることは難しい。それが本当に良いものかどうかを把握することはさらに難しい。）

生成・ツール層・ストレージ・ポリシー・エージェントにまたがるメモリアーキテクチャ（出典：DoorDash Blog）

評価インフラ：1日2000件の自動評価で品質を担保

本番AIエージェントのもう一つの難題が品質評価だ。DoorDashはLLMで生成した仮想ユーザーとツール呼び出しの記録（フィクスチャ）を使い、ステートフルな会話をシミュレートする自動評価フレームワークを構築した。

この評価基盤の成果として報告された数値：

自動評価数：1日2,000件超
品質スコア：8ポイント向上
リグレッションテスト時間：6時間 → 20分
モデル移行の検証：レイテンシ35%削減、品質維持を確認

レイテンシ改善のために「LLMを呼び出さない決定論的アクション（バージョン管理されたアーティファクトを更新する処理）」も導入しており、モデルを経由しなくていい処理はモデルから切り離すという一貫した設計思想が見える。

チームの分業モデル

このアーキテクチャはDoorDashの組織設計とも対応している。ドメインチームが専門エージェントを構築し、プラットフォームチームがオーケストレーション・MCPツール・メモリ・評価などの共通基盤を維持するという分業構造だ。これにより、ビジネスロジックの追加・変更とインフラの進化を独立して進められる。

詳細はHow DoorDash Built an AI Shopping Assistant That Doesn't Rely on the LLM Aloneを参照していただきたい。