カスタマーサポートはAIにとって「最も厄介な問題」 — AirbnbのAhmad Al-Dahle氏が語るマルチエージェント設計と「動く標的」としての評価基準

11月10日、Stack Overflow Blogが「Customer support is the gnarliest AI problem」と題した記事を公開した。Airbnbでプロダクト・エンジニアリング・データサイエンス部門を統括するAhmad Al-Dahle氏（VP of AI、肩書きは元記事に基づく）がStack Overflow Podcastに出演し、同社がマルチパーティAIエージェントを活用してカスタマーサポートを刷新した実践的な取り組みについて詳しく語っている。

カスタマーサポートがAIにとって「最も厄介な問題」である理由

カスタマーサポートは、一見するとAI活用の「簡単なユースケース」に見える。FAQ回答を自動化し、問い合わせを振り分けるだけなら、確かにシンプルだ。しかし実態はその逆だと、Al-Dahle氏は強調する。

Airbnbのビジネス構造は、ホスト・ゲスト・物件・予約・決済という複数の関係者と複雑な状態が常に絡み合っている。たとえばホストとゲストが同一のトラブルについて互いに異なる主張を持つケースでは、AIは単純に「正解を返す」だけでなく、関係者ごとの文脈と立場を理解した上で判断しなければならない。さらに、Airbnbのポリシーは定期的に改定され、物件ごとのルールも千差万別であるため、静的なルールベースのシステムでは対応しきれない。一般的なチャットボットとは次元が異なる問題設定だ。

マルチパーティAIエージェントの設計

Al-Dahle氏が取り組んだ解法が、マルチパーティAIエージェント——複数のAIエージェントが役割を分担して連携するアーキテクチャ——によるサポートの刷新だ。

マルチエージェントシステムとは、単一のモデルに全処理を委ねるのではなく、特定の役割に特化した複数のエージェントが協調して問題を解くアプローチを指す。Airbnbのケースでは、ホスト側の文脈を扱うエージェント、ゲスト側の文脈を扱うエージェント、予約・決済に関するポリシー判断を担うエージェントといった形で役割が分かれており、それぞれの出力を統合して最終的な応答を生成する構成が採られていると説明されている。

設計上の重要な判断のひとつが、オーケストレーター（調停役）の存在だ。複数エージェントが並列に動く場合、その結果をどのエージェントがどのように統合するかが精度・レイテンシ双方に直結する。Al-Dahle氏は、エージェント間の調停ロジックをシンプルに保ちながら、個々のエージェントの専門性を高める設計方針を重視していると述べている。

評価（Eval）が「動く標的」である理由

Al-Dahle氏が特に力を込めて語ったのが、評価（Evaluation）フレームワークの重要性だ。AIシステムの精度を実運用で維持するためには、評価基準自体を継続的に更新し続けなければならないと述べている。

なぜ評価基準が「動き続ける」のか。その背景には複数の要因がある。第一に、ユーザー行動そのものが変化する。新しいポリシーの導入や季節的なトラベルトレンドによって、問い合わせの傾向やユーザーが期待する回答の質が変わる。第二に、基盤モデルのアップデートがある。OpenAIやAnthropicなどのモデルがバージョンアップされるたびに、同じプロンプトでも出力が変わり得るため、以前のEvalセットがそのまま有効とは限らない。第三に、Airbnb自身のポリシー変更だ。返金ルールやキャンセルポリシーの改定が行われるたびに、「正解」の定義が更新される。

特に課題となるのがレイテンシと精度のトレードオフだ。応答速度を上げれば精度が落ちるリスクがあり、精度を追求すれば応答が遅くなる。カスタマーサポートという文脈では、どちらも無視できない。Airbnbでは、この二律背反を「動く標的」として扱い、エンジニアが継続的に評価指標を見直しながらシステムを調整し続けるアプローチを採用している。静的なベンチマークで一度合格したら終わり、という発想では実運用に耐えられないというのがAl-Dahle氏の主張だ。

AIコーディングツールがエンジニアに求めるもの

記事ではカスタマーサポート以外のテーマにも踏み込んでいる。Al-Dahle氏は、AIコーディングツールの普及がソフトウェアエンジニアリングチームにより高いレベルの判断力を要求するようになっていると指摘する。

AIがコードを生成する速度が上がれば上がるほど、そのコードを正確にレビューし、設計の妥当性を判断する人間の役割は増す。コードを書くスキルよりも、生成されたコードの品質・整合性・セキュリティを見抜くスキルが問われる時代になりつつある、というのがAl-Dahle氏の見立てだ。これはAirbnbのエンジニアリング組織においても同様で、AIツールを導入したことでコードレビューの質と密度が以前より重要になっていると語っている。

Airbnbエンジニアリングの現在地

Airbnbは自社のエンジニアリング動向をAirbnb Tech Blogで継続的に発信している。Al-Dahle氏はX（旧Twitter）およびLinkedInでもフォロー可能だ。

今回の内容はStack Overflow Podcastのエピソードとして公開されており、音声形式でより詳細なやり取りを聴くことができる。マルチエージェント構成の設計判断、評価フレームワークの具体的な運用、そしてAIツールがエンジニアリング文化に与える影響まで、実運用に乗せることを前提にしたAIシステム設計に関心を持つエンジニアにとって参考になる視点が多い内容だ。

詳細はCustomer support is the gnarliest AI problemを参照していただきたい。