7月22日、Priya Sethuraman、Abhishek Ghose、Lovish Agarwal、Aditya Pandeyが「How AI Reduced Customer Bug Triage from 1 Year to 1 Week」と題した記事を公開した。SalesforceがカスタムMLモデルとLLMを組み合わせたAIシステム「BugWiser」によって、顧客バグのトリアージ（※バグの優先度・担当チームを仕分けする工程）にかかる工数を約1年分（300人日以上）から1週間未満に短縮した実装事例であり、「どのモデルを選ぶか」という設計判断の重要性を具体的な数値とともに示している。
「LLMだけでは足りなかった」——2モデル構成に至る経緯
BugWiserの設計で最も核心的な判断は、汎用LLM単体に頼らず、カスタム機械学習モデルとLLMを役割分担させた点だ。
チームは当初、LLMから着手した。しかし、バグ分類に求められる「決定論的な動作」「信頼度スコア」「判断根拠の説明可能性」をLLMでは実現できないと判断し、方針を転換した。LLMは同じ入力に対して確率的に異なる出力を返す性質があるため、「このバグは必ずカテゴリXに分類される」という再現性の保証が難しく、監査ログや根拠の提示を求めるエンタープライズ運用には適合しなかった。
最終的な構成は次のとおりだ：
- カスタム機械学習モデル：Salesforceの過去の工学的判断データで学習。バグ分類を高速・決定論的に行い、信頼度スコアと根拠を出力する
- LLM（Anthropic Claude Opus）：非構造化情報をまたいで推論し、エンジニア向けの詳細なサマリーを生成する
この構成について記事は「最適なAIモデルは最大のモデルとは限らない。解くべき問題に最も適したモデルだ」と端的にまとめている。AI活用の実務でしばしば見落とされがちな判断だが、BugWiserはその原則を設計の中心に置いた。
カスタムモデル学習とエンタープライズLLMの連携
「AIを信頼させる」のではなく「AIがエンジニアから学ぶ」設計
BugWiserで興味深いのは、人間によるレビューをフィードバックループとして組み込んだ点だ。
信頼度スコアが高い予測は自動受理、低い予測は人間がレビューする。エンジニアが予測を否定した場合、その正解データは即座に再学習に使われる。モデルがエンジニアの専門知識と共に進化し続ける仕組みだ。この設計は、いわゆる「Human-in-the-loop」の考え方を単なる安全弁としてではなく、モデル改善の駆動力として位置づけている点が特徴的だ。
結果として、Sales CloudとService Cloudへの初期展開で予測の約90%がエンジニアによる修正なしに受理された。残りの少数が人手によって修正され、その修正が次の学習データになる。
このフィードバック設計は「エンジニアにAIを信頼させる」という発想とは逆で、「AIがエンジニアを信頼することで精度を高める」という構造になっている。単にモデルの精度を上げるだけでなく、エンジニアがシステムの判断を「自分たちが育てたもの」として受け入れやすくなる副次的な効果も期待できる。
標準化がもたらした副次効果
BugWiserの効果は速度だけではない。以前は担当エンジニアや所属チームによってバグ分類の基準がばらついていた。属人的な判断が混在する状態では、集計・分析の前提となるデータの質自体が担保できない。BugWiserによる分類の標準化で、以下が可能になった：
- リリース単位での品質トレンド把握（どの製品領域に問題が集中しているか）
- エンジニアリング投資の優先度判断（どの分類が支配的か）
- 顧客へのフィードバック高速化
リーダーシップ層が必要としていたリリースインサイトは、以前は数日分の手動分析を要していた。BugWiserはその分析を継続的に自動生成する。速度改善が主目的だったシステムが、データ品質とビジネス意思決定の基盤としても機能し始めたことになる。
実装の難所：「新しい規律を一から学んだ」
記事でもう一点率直に語られているのが、カスタムモデルの運用に関する学習コストだ。LLMと異なり、小規模なカスタムモデルはホスティング、再学習、監視、既存ワークフローへの統合をすべて自前で設計する必要がある。チームはこれらの課題を「全く新しい規律を習得することだった」と表現している。
LLMのAPIを呼ぶだけの実装とは異なり、MLモデルをプロダクション運用するためにはMLOps（※機械学習モデルの開発・デプロイ・監視・再学習を継続的に管理するための実践体系。DevOpsの機械学習版に相当する）の知見が求められる。モデルのドリフト検知、再学習パイプラインの整備、推論エンドポイントの可用性管理など、LLM APIを利用する構成では意識せずに済む運用上の責務が一気に増える。この点は、同様のシステムを社内で構築しようとするチームにとって見落とせない前提コストだ。
詳細はHow AI Reduced Customer Bug Triage from 1 Year to 1 Weekを参照していただきたい。
