9月7日、コロンビア大学教授でありAIスタートアップArklex AIの共同創業者でもあるZhou Yuが、InfoQにて「From AI Agent Demo to Production: Automated Testing and Evaluation」と題した講演発表を公開した。AIエージェントがデモ止まりに終わる根本原因と、合成ユーザーを用いたシミュレーション駆動テストによって本番移行を実現するための具体的な手法について詳しく解説している。
Zhou Yuはコロンビア大学の教授であり、Arklex AIの共同創業者でもある。9年にわたる研究経験を持ち、大規模言語モデルの事前学習・事後学習に関わってきた人物だ。
「95%のエージェントはデモ止まり」という現実
同氏が冒頭で指摘するのは、業界全体が抱えるこの構造的な問題だ。現在リリースされているAIエージェントの95%は、デモとして興味深いだけで、実際のビジネスプロセスに価値をもたらせていない。
WalmartのSparkyやAmazonのRufusのようなショッピングエージェントは本番稼働の成功例だが、これらが実現できているのは比較的リスクの低いECドメインだからだ。金融・ヘルスケア領域では話が変わる。講演内で紹介されている音声エージェントのデモ（クレジットカード申し込みを音声で完結させる）は技術的には動作するが、「本番未投入」の理由はコンプライアンスにある。規制上、ユーザー自身がリンクをクリックして承認しなければクレジットカードを開設できないといった制約が壁になる。
既存の評価手法がマルチターンエージェントに通用しない理由
コンプライアンスをクリアするには「評価」が不可欠だが、従来の機械学習的なベンチマーク手法はマルチターンエージェントには機能しない。その理由を同氏は3点に整理している。
- シングルターン評価の限界: 従来のQAベンチマークは「1問1答」を想定している。しかしエージェントは複数ターンの対話を前提とし、ユーザーの前の発言が次の発言を規定する。静的なベンチマークでは文脈依存の挙動を評価できない。
- ツール呼び出しの動的性: 口座残高のようなデータは毎分変化する。「正解となるゴールド真値」を固定できない。
- アクションの副作用検証: エージェントが「返品しました」と言うだけでは不十分で、実際にデータベースが更新されたかどうかまで確認する必要がある。
現場で行われている「友人テスト」の問題点
評価の代替として現場では何が行われているか。「エージェントを作ったらSlackで同僚に共有してバグを報告してもらう」という、極めてアドホックな手法だ。これには複数の欠陥がある。
- テスターが開発者の知人に偏るため、テストカバレッジが技術者視点に偏る
- エージェントを修正するたびに、収集済みのテストデータは再利用できなくなる
- 再テストのたびに人手が必要になる
- 実際のエンドユーザーが使う言い回しや意図とは乖離したテストになりやすい
「デプロイしたら、想定していなかった使われ方ばかりされた」というのは、この構造的欠陥から来ている。
解決策：合成ユーザー（Synthetic Users）によるシミュレーション
同氏が提案するのが「魔法を魔法で制する」アプローチだ。AIエージェントを使ってユーザーをシミュレートし、それをテストエージェントと対話させることで、自動的にテスト軌跡（trajectory：エージェントが目標達成までに踏む一連のアクションと対話の記録）を生成する。
構造はシンプルだ：
- シミュレーテッドユーザーエージェント（ペルソナを持つ）とプロダクトエージェント（テスト対象）を対話させる
- 複数のユーザーエージェントを並列で動かすことで、実際のユーザー分布に近いカバレッジを確保する
- ユーザーエージェントは特定のコンポーネントや機能に絞って動作させることもできるため、重点テストが可能
- エージェントエンドポイントへのAPIコールで完結するため、**CIパイプライン（継続的インテグレーション：コードの変更を自動的にビルド・テストする仕組み）に組み込める**
オープンソース実装：ArkSim
この手法を実装したツールが**ArkSim**（オープンソース）として公開されている。エンジニアが設定するのは以下の要素だ：
- シミュレーテッドユーザーの属性（例：高校卒業資格を持たないユーザー）
- エージェントのケイパビリティ定義（何ができるか）
- ナレッジファイル（FAQやWebサイトコンテンツ等）
- 会話数・ペルソナあたりの会話数などのパラメータ
シナリオを固定することでテストの再現性が確保され、エージェントを修正した後も同一シナリオで再テストできる。手動テストは最終確認のみに絞り込めるようになる、というのが同氏の主張だ。
詳細はFrom AI Agent Demo to Production: Automated Testing and Evaluationを参照していただきたい。
