11月12日、Salesforce Engineeringが「6 AI Agent Capabilities to Evaluate Before Enterprise Deployment」と題した記事を公開した。エンタープライズ向けAIエージェントの本番導入前に評価すべき6つの能力を体系化したベンチマーク「EGI-Bench」について詳しく紹介している。
「本番に出てから気づく」というワーストケースをなくす
AIエージェントが社内評価を通過し、本番投入してから初めて弱点が露呈する——これはエンタープライズAI開発における典型的な失敗パターンだ。多くの既存ベンチマークは特定の能力を狭く評価するに留まっており、エンタープライズ用途に求められる幅広いスキルを網羅できていない。たとえばHumanEvalはコード生成能力に特化し、MT-Benchは汎用的な指示追従を評価するが、「社内ナレッジベースに根拠を持った回答を返せるか」「ポリシー違反のリクエストを適切に拒否できるか」といった業務固有の要件は計測されない。
Salesforce AIリサーチのディレクター、Shelby Heineckeのチームはこの課題に正面から向き合い、EGI-Bench(Enterprise General Intelligence Benchmark)を開発した。Salesforce内で独立して開発された8つのベンチマークを一つのフレームワークに統合し、20以上のサブドメイン、1,500以上のテストタスク、6つのエンタープライズスキル次元をカバーする統合評価システムである。コードはGitHubで公開されている。
※なお、記事内で言及されているarXiv論文のID(2610.27234)は現時点で確認が取れないため、本記事ではリンクを割愛している。正確な論文IDは元記事から直接ご確認いただきたい。
評価すべき6つの能力
EGI-Benchが定義する6次元は以下のとおりだ:
- Task outcomes(タスク成果):正しい回答を返せるか。最も基礎的な要件。
- Tool actioning(ツール操作):適切なタイミングで適切なツールを選択できるか。エンタープライズエージェントは質問に答えるだけでなく、実際にアクションを起こす必要がある。
- Planning(計画立案):複雑なタスクを管理可能なサブタスクへ分解できるか。
- Grounding(根拠付け):コンテキストを正しく活用し、適切な引用を生成できるか。エンタープライズ文脈でのGroundingとは、汎用的な知識を答えるのではなく、社内ナレッジベース・CRMデータ・ドキュメント管理システムといった構造化・非構造化の内部データソースに応答を接地させることを意味する。たとえば「この顧客の過去の問い合わせ履歴に基づいて回答する」という挙動がGroundingの典型例だ。
- Safety(安全性):不適切なリクエストを拒否し、ポリシー違反にフラグを立てられるか。性能が高くても安全に動作できなければ意味がない。
- Engineering(エンジニアリング):ソフトウェアを効果的に構築できるか。
最も重要な発見:「万能モデル」は存在しなかった
EGI-Benchを使って14種類のLLMを実際に評価した結果、3つの知見が得られた。
第一に、すべての次元で最高性能を示したモデルは一つもなかった。 モデルごとに得意・不得意が明確に分かれており、「どのモデルが最良か」という問い自体が誤りであることが示された。エージェントが実際に行う業務内容に合わせてモデルを選ぶ必要がある。これはAIエージェント全般が実用に耐えないという意味ではなく、「タスクとモデルの適合性を見極めずに汎用的な最強モデルを探す発想は危険だ」という指摘と捉えるべきだ。
第二に、多段階の計画立案(Planning)は全体的にスコアが低い領域だった。 業界全体でまだ改善余地が大きいことを示している。複数ステップにわたるワークフローの自動化を検討しているチームは、特にこの次元を重点的に評価することが推奨される。
第三に、低コストモデルが健闘している。 Haiku 4.5、GPT-4o mini、Gemini 2.5 Flashといった低価格モデルが、エンタープライズタスクで競争力のある性能を発揮した。元記事では各モデルのスコアや次元別の順位が図表で示されているが、タスクの種類によってリーダーが入れ替わる様子が確認できる。コスト最適化を検討しているチームにとっては、ハイエンドモデルへの一律乗り換えが必ずしも正解ではないことを示唆する結果だ。
実用上の工夫:「深いモード」と「クイックモード」
包括的なベンチマークは実行に時間がかかるという問題がある。EGI-Benchはこれに対処するため、深いモードとクイックモードの2種類を用意している。クイックモードは各ベンチマークをサブサンプリングして素早く方向性を把握するためのものだ。クイックモードで弱点領域が判明した後、その領域だけを深く掘り下げる、という使い方が想定されている。
また、6つのサブスコアを合算してグローバルなEGIスコアを算出する際の重みはカスタマイズ可能だ。安全性を最優先するチームもあれば、計画立案やGroundingを重視するチームもある。デフォルトの重みはSalesforceの実績に基づいて設定されているが、各組織のユースケースに合わせて調整できる。
技術的な統合の難しさ
8つのベンチマークを単一リポジトリに集めるだけでは不十分だった。各ベンチマークは独自のメトリクスと評価軸を持っており、それらを「6つのエンタープライズ次元」という共通の軸に再マッピングする作業が必要だった。
例えばCRMArenaは、タスク精度を測る部分とGroundingを測る部分が混在している。異なる目的で設計されたスコアを意味のある形で統合するため、各メトリクスは正規化された上で組み合わされている。この統合設計こそが、単なるベンチマーク集成との差別化ポイントだ。個別ベンチマークを並列で走らせるだけでは得られない「6次元横断のモデル比較」を可能にしている。
詳細は6 AI Agent Capabilities to Evaluate Before Enterprise Deploymentを参照していただきたい。