8月22日、amazon.scienceが「SOP-Bench: A new benchmark for evaluating AI agents on real business procedures」と題した記事を公開した。注目すべきは、モデルをバージョンアップしたにもかかわらず成功率が下がるケースが実験で確認された点だ。本番運用中のエージェントを持つチームにとって、見過ごせない知見が含まれている。
AIエージェントが「手順書」をこなせるか、を測る
AIエージェントの評価ベンチマークは数多く存在するが、そのほとんどは単一のスキル（API選択、制約の遵守、計画立案など）を、機械が扱いやすい整形済みのプロンプトで測定するものだ。実際の業務現場で使われるSOP（Standard Operating Procedure：標準作業手順書）は、そういったクリーンな環境とはかけ離れている。
たとえば患者の受付手順書には「保険を確認する」というステップが2回登場することがある。しかし手順書には、最初の確認と2回目の確認が何を意味するのか明示されていない。現場経験者なら「最初は保険会社への確認、2回目は院内システムへの入力確認」と理解できるが、AIエージェントにそうした背景知識はない。どのツールを呼ぶべきか、前のステップで何をしたかを記憶しながら判断しなければならない。
SOP-Benchはこうした「現実の曖昧さ」を含む手順書でエージェントを評価するためのベンチマークであり、KDD 2026（知識発見・データマイニング分野の主要国際会議）で発表され、論文も公開されている。
ベンチマークの設計
SOP-Benchは12の業務領域をカバーする。医療受付、危険物分類、カスタマーサービス、コンテンツモデレーション、金融コンプライアンス、倉庫検査などが含まれ、合計2,000件以上のタスクを収録している。
各タスクは以下の4要素で構成される：
- SOP本文
- エージェントが呼び出せるツール群
- 各ツールの仕様
- 正解が付いたテストケース
評価はエージェントが実際にツールを呼び出して手順を実行し、その結果を正解と照合する形式をとる。「AIが出力したテキストを別のモデルが採点する」方式ではなく、実行結果をグラウンドトゥルースと突き合わせる点が従来の多くのベンチマークとの大きな違いだ。評価指標にはECR（実行完了率）、C-TSR（完了タスク成功率）、TSR（タスク成功率）の3つが使われる。
SOP自体はAmazonの各領域の専門家が実際の業務フローをもとに作成し、Anthropic Claude 3.5 Sonnet v2がその手順を機械実行可能な形式（モックAPI、ツール仕様、データスキーマなど）に変換。その後、専門家が内容を確認・修正するという人間とAIの協調プロセスで構築された。機密・個人情報は一切含まれていない。
実験で明らかになった3つの知見
11の最新モデルを対象に、関数呼び出し型とReAct（推論）型の2種類のエージェントで評価を行った。結果からいくつかの重要な傾向が浮かび上がった。これら3つは、現場で運用するチームにとって特に実践的な示唆を持つ。
新しいモデルが必ずしも優れるわけではない
最も意外な発見は、モデルのバージョンアップで性能が下がるケースがあった点だ。ReActエージェントでは、新しいClaude 4.5ファミリーが旧Claude 4ファミリーを下回るケースが確認された。本番環境でエージェントを運用しているチームにとっては重大な示唆であり、ルーティンのモデル更新が成功率を静かに低下させる可能性がある。それを検知する唯一の手段は、実際に使うSOPでテストすることだ。
ツールが多すぎるとエージェントが劣化する
動画アノテーションのタスクで、必要な6つのツールだけを与えた場合と、そこに20個の「もっともらしいが不要なツール」を追加した場合を比較した。結果、成功率がほぼ半減した。必要なツールはすべて含まれているにもかかわらず、だ。ツールセットをタスクに合わせて絞り込むことが、デプロイ準備の重要な要素になりうる。
手順の「難しさ」の直感は当てにならない
最も成功率が高かった手順（メールのインテント分類）では約9割が正解だったのに対し、最も難しかった手順（走行動画中の物体アノテーション）では約4分の1にとどまり、3倍以上の開きがあった。また、判断ポイントが少なく読み込みが長い手順のほうが、判断が多い複雑な手順より成功率が低くなるケースも見られた。直感に反する結果であり、研究コミュニティへの問いかけとして今後の調査が求められている。
入手方法
SOP-BenchはGitHubとHuggingFaceで公開されている。12の手順書、ツール群、2つのベースラインエージェント、評価コードがすべて含まれており、独自のエージェントや手順書を追加することも可能だ。今後は画像・表を含む手順書や、ネスト構造を持つ手順書への対応も予定されている。
詳細はSOP-Bench: A new benchmark for evaluating AI agents on real business proceduresを参照していただきたい。
