KDDIがRAGのレイテンシ38%削減・Groundednessスコア25%向上を達成 — 自動評価とGoogle ADKを組み合わせた最適化の中身

9月8日、Google Cloudが「How KDDI Optimized RAG Performance with Agent Development Kit」と題した記事を公開した。KDDIがGoogle CloudのAgent Development Kit（ADK）と自動評価フレームワークを組み合わせ、RAGアプリケーション「Buffmee」のパフォーマンスを大幅に改善した事例だ。レイテンシ38%削減・Groundednessスコア25%向上という具体的な数値を伴う本番運用の知見は、同様の課題を抱える開発者にとって見逃せない内容である。

Google ADKとは

本記事で中心的な役割を担う**Agent Development Kit（ADK）**は、Googleが提供するエージェント型AIアプリケーションの構築・評価・デプロイを支援するオープンソースフレームワークだ。RAGパイプラインのような複数ステップの処理を含むシステムにおいて、各コンポーネントのパフォーマンス計測やデバッグを容易にする。KDDIはこのADKを評価・最適化のサイクルの中核に据え、Buffmeeの改善に取り組んだ。

レイテンシ38%削減——KDDIのRAG最適化の中身

KDDIが開発したメディア向けRAGアプリケーション「Buffmee」は、ユーザーがお気に入りのメディアコンテンツに対してインタラクティブなQ&Aや詳細分析を行えるサービスだ。コンテンツプロバイダー向けの信頼・コンプライアンス要件を満たしながら、パーソナライズされた体験を提供することを目指している。

今回の最適化で達成した主な成果は以下の通りだ：

アプリケーション全体のレスポンスレイテンシを38%削減し、目標パフォーマンスを達成
TTFT（Time to First Token：最初のトークンが返るまでの時間）を約18%改善
Groundednessスコア（回答の根拠の確かさを示す指標）を25%向上

KDDIのAIプロダクト部門のOnoda Shunya氏は次のようにコメントしている。

「私たちのビジョンは、コンテンツを取り込むだけで即座に動作するRAGシステムとして機能するプラットフォームでした。Googleの丁寧で実践的なサポートがそれを現実にしてくれました。」

自動評価フレームワークで精度を担保

RAGシステムの品質保証において最大の課題のひとつが、多様なコンテンツに対するテストのスケーリングだ。コンテンツライブラリが大規模になるほど、手動テストは現実的ではなくなる。

KDDIの開発チームはこれを解決するため、Gemini Enterprise Agent Platform Evaluation Serviceを使った体系的なAI評価プロセスを設計した。具体的には以下の2つのアプローチを採用している：

LLM-as-a-Judge：LLM自身が回答品質を評価する手法。人間のレビューを大幅に削減できる
Rule of Hundreds（元記事の表現に基づく）：数百件規模の自動評価テストを構築し、ベンチマークデータセットとして整備するアプローチ

これにより、手作業中心だったテストプロセスをデータドリブンな仕組みに置き換え、各ユースケースにおける回答の信頼性を定量的に計測できるようにした。

なお、Groundednessスコアとは、モデルの回答が検索・参照した根拠ドキュメントに裏付けられているかどうかを示す指標であり、一般的な「回答精度（accuracy）」とは異なる概念だ。今回の25%向上は、出力が根拠に基づいた信頼性の高いものになったことを示している。

ボトルネックの特定とリアルタイム最適化

レイテンシ38%削減を実現するには、どこに遅延が発生しているかを正確に把握する必要がある。記事では、ADKを活用したボトルネックの系統的な特定と、リアルタイムでの最適化アプローチが紹介されている。

KDDIのケースでは、自動評価の仕組みとADKを組み合わせることで、パフォーマンス目標の達成と精度向上を同時に実現するサイクルを構築したことが本事例のポイントといえる。評価→計測→改善のループをADKが支えることで、属人的な勘頼みではなく再現性のある最適化プロセスが成立している。

なぜ今この事例が重要か

RAGシステムのハルシネーション対策や回答根拠の担保はここ1〜2年で多くの企業が直面してきた課題だ。一方、本番環境でのレイテンシ要件を満たしながら精度も確保するという両立は、多くのプロジェクトで難題となっている。KDDIの事例は、自動評価フレームワークとパフォーマンス最適化を組み合わせた具体的な方法論を、実際の数値とともに示している点で参考になる。

日本企業によるGen AIの本番運用事例はまだ少なく、体系的な評価プロセスの構築まで踏み込んで公開されたケースはさらに限られる。LLM評価のベストプラクティスに関心を持つエンジニアにとっても、ADKと評価サービスの組み合わせという実装パターンは実践的な参照点となるだろう。KDDIほどの規模の通信キャリアがコンテンツ向けRAGを実用化し、その技術的詳細を公開したことは、同様の課題を抱える国内エンジニアにとって具体的な指針となりうる。

詳細はHow KDDI Optimized RAG Performance with Agent Development Kitを参照していただきたい。