9月9日、Databricksが「Evaluation-First AI Agents: How Zepto Scales Customer Support on Databricks and MLflow」と題した記事を公開した。インドのクイックコマース企業Zeptoが「評価ファースト」の設計思想でカスタマーサポートAIエージェントを構築・運用した実践的な手法について、DatabricksとMLflowを基盤とした具体的なアーキテクチャとともに紹介されている。

1日10万件のチケットで「とりあえずシップ」が破綻した

Zeptoはインドで急成長中のクイックコマースプラットフォームだ。60以上の都市でサービスを展開し、数分単位の配送を売りにしている。インドのクイックコマース市場はBlinkit（Zomato傘下）やSwiggy Instamartといった競合が激しく、配送速度と同様にサポート品質も差別化の軸となる。そのビジネスモデル上、カスタマーサポートも同じ速度で動かす必要がある。

ZeptoはAIエージェントによるマルチエージェントシステムで1日10万件超のサポートチケットを処理している。エージェント自体は素早く構築できた。問題は、チケット量が増え、扱うカテゴリが食料品からアパレル・家電・美容品へと拡張し、多言語対応の顧客が増えるなかで、エージェントの信頼性をどう担保するかだった。

「とりあえずシップ」戦略の限界は数字で明快だ。1日10万件でエラー率1%でも、毎日1,000件の悪い結果と実際の売上損失が生じる。

より根深い問題は「保証のギャップ（assurance gap）」だ。AIエージェントは意図分類→知識検索→入力分析→意思決定→ツール呼び出し→応答生成という多段階のワークフローとして動作する。最終的な回答だけを見ていても、途中のどこで失敗しているかは見えない。これが具体的な問題を引き起こした。

• 顧客から苦情が来るまで障害が見えない
• 修正サイクルが遅い
• 最終回答が内部エラーを隠蔽する
• コスト・パフォーマンス・品質のバランスを原則的に取れない

この状況に対してZeptoが選んだ解決策は「エージェントを増やす」ことではなく、評価（Evaluation）をエージェント構築・テスト・運用の中心に据えることだった。

評価ファーストが生んだ数字

DatabricksとMLflowを評価基盤として採用した結果、以下の成果が報告されている。これらの数字は、後述するデュアルループモデルとゴールデンデータセットの積み上げによって達成されたものだ。単に精度を改善しただけでなく、開発速度とコスト構造まで同時に変えている点が注目に値する。

コスト・効率

• AIエージェントが人間の監視下で 80%以上のチケットを完結処理
• サポートコスト（またはチケット数）を 65%削減
• 投資回収期間は1ヶ月未満

品質

• 顧客満足度（CSAT）が 20%改善
• 精度が 8%改善

開発・運用速度

• 開発サイクルが 3倍速
• 解決時間が 4倍速

フレームワークの核心：デュアルループモデル

このアプローチの中心は「開発ループ」と「本番ループ」を品質ゲートでつなぐデュアルループモデルだ。

• 開発ループ：エージェントのバージョンを設計・反復・評価し、シップ前に品質を確認する
• 本番ループ：本番の挙動を監視し、障害を検知する
• フィードバックループ：本番の障害を開発ループに戻して次の反復に活かす
• 品質ゲート：本番に昇格させるかどうかをデータで判断する

本番でキャッチした障害が自動でゴールデンデータセット（評価の基準となるラベル付き正解事例の集合。後述）に追加され、次のバージョン評価に使われる。障害が発生するほどシステムが頑丈になる構造だ。

各フェーズで何をやっているか

元記事では実装フェーズをPhase 0から始まる番号で整理している。以下では記事中で詳細が説明されているフェーズを抜粋して紹介する。

トレーシングの有効化（Phase 0）

MLflowの自動トレーシングを使い、mlflow.<library>.autolog() の1行でプロンプト・補完・取得ドキュメント・ツール呼び出し・レイテンシ・判断経路をすべてキャプチャする。トレースはOpenTelemetryスパン（分散トレーシングの標準仕様。異なるシステム間をまたいだ処理の流れを統一フォーマットで記録する）として発行され、Unity Catalog（Databricksのデータガバナンス基盤。アクセス制御・系譜管理・検索を一元化する）のDeltaテーブルに集約される。

ゴールデンデータセットの構築（Phase 2）

ゴールデンデータセットとは、評価の基準として使うラベル付き正解事例の集合だ。評価の信頼性を支える最重要資産であり、Zeptoは6ヶ月かけてこれを積み上げた。

セキュリティチームはプロンプトインジェクションや身元詐称、データ漏洩の試みといった敵対的パターンのサンプルを提供するなど、各ステークホルダーがデータセット構築に参加する。データセット品質への1時間の投資が、本番デバッグの約10時間を節約すると試算されている。

自動プロンプト最適化（Phase 3）

MLflowのプロンプト最適化機能を使い、初期プロンプトを登録→バリアントを自動生成→デプロイゲートと同じスコアラーで評価→A/Bテスト自動実行→最良版をデプロイ、という流れを自動化している。高性能モデルで候補を生成し、安価なモデルでスコアリングすることで、探索コスト自体も抑制している。

本番ループの評価サンプリング（Phase 7）

100%の本番トラフィックを評価するのはコスト面で非現実的だ。一方、単純な10%均等サンプリングはエッジケースを見逃す。Zeptoは層化サンプリングを実装した。

• 高価値顧客
• 新機能・最近変更されたフロー
• ネガティブな感情や高エスカレーションリスク
• 画像ベースや不正リスクの高いインタラクション

これにより、実効サンプリング率は18〜20%（約14,400トレース/日）を維持しながら、エッジケースの45〜60%を捕捉し、問題を4〜6分以内に検知できる。均等サンプリングと比較すると、1件あたりのレビューコストを86%削減しつつ、エッジケース検知を9倍改善したとされている。

エージェントのアーキテクチャ：縦横の分離

評価フレームワークの恩恵を最大化するために、エージェント設計も観測可能・分解可能な構造にしている。

垂直エージェント（用途特化）：WIMO（注文追跡）、Missing（未配達）、Expiry（期限切れ品）、Returns（返金）、Quality（品質問題）、Unable to Pay（決済問題）など、インテントファミリーごとに専門エージェントを置く。

水平エージェント（横断的監視）：Image Deduplication（クレームで使い回された画像の検知）、Item Matching and Image Manipulation Detection（アップロード画像がカタログ商品と一致するか、画像編集がないかを検証）など、不正対策を横断的に担う。

この分離により、メトリクスを垂直エージェントごとに算出でき、どのエージェントが問題を起こしているかを即座に特定できる。

「評価をインフラとして扱う」という考え方は、AIエージェントを本番運用するうえで再現性のあるアプローチだ。特にデータセット品質の積み上げが開発-本番ギャップの縮小に直結している点は、同様のシステムを構築するチームにとって具体的な指針になる。

詳細はEvaluation-First AI Agents: How Zepto Scales Customer Support on Databricks and MLflowを参照していただきたい。