7月15日、Leela Kumiliが「Stripe Benchmark Shows AI Agents Build Integrations but Struggle with Validation」と題した記事を公開した。StripeがAIエージェントの実世界における決済統合能力を評価するベンチマークを公開し、コード生成は得意だが検証フェーズに課題があることを明らかにした取り組みについて詳しく紹介されている。

「書けるが、確かめられない」——AIエージェントの限界をStripeが数値で示す

AIコーディングエージェントが実務で使えるかどうかを議論する際、「コードを書く能力」と「動いていることを確認する能力」は別物だ。Stripeが公開したベンチマークは、この2つの能力差を金融システムという厳格な正確性が求められる現場で測定した点が重要である。

ベンチマークは11の再現可能な環境で構成される。各環境にはアプリケーションのコードベース、データベース、スクリプト、テスト用のStripe APIキーが含まれており、Checkout移行やBilling APIモデリングといった実際の統合プロジェクトをシミュレートしている。

エージェントの動作基盤にはGooseとModel Context Protocol（MCP）を採用し、ターミナルアクセス、ブラウザ自動化、ドキュメント取得ツールを使用可能な環境を整えた。評価はコード生成だけにとどまらず、サービスの起動、API操作、自動テストまたはシミュレートされたユーザーフローによるエンドツーエンドの動作検証まで求めている。

モデルごとの成績と、浮かび上がる2つの失敗パターン

モデル別の成績を見ると、Claude Opus 4.5がフルスタックAPIインテグレーションタスクで平均92%、GPT-5.2がジム形式の構造化タスクで73%を記録した（いずれも元記事に記載のモデル名・数値をそのまま使用）。最も良いパフォーマンスを示した実行では平均63インタラクションターンを維持しており、長期的な実行能力の向上がうかがえる。ただし、ワークフローが長くなるほど正確性は低下する傾向が見られた。

フルスタックベンチマーク結果（出典: Stripe Blog）

StripeのソフトウェアエンジニアであるCarol L.（元記事の表記に準拠）は、コア課題は検証にあると指摘している。

AIエージェントはまだソフトウェアエンジニアを代替しない。少なくともStripe統合においては。金融システムは厳格な正確性を要求するが、現在のエージェントには統合ワークフロー向けの安定した検証レイヤーが欠けている。

具体的な失敗パターンは2つ確認されている。

1つ目はSDKアップグレードシナリオでの誤認識。 不正なStripeのリクエストに対して返ってくるHTTP 400レスポンスを「統合が正常に機能している証拠」と誤解し、検証成功と判断してしまうケースがある。正しく動く場合は、エージェントが合成テストデータを生成して挙動を検証している。

2つ目はブラウザベースのCheckoutフローでの失敗。 住所やカード情報の入力を含む完全な決済フローをWebインターフェース上で完結させ、Checkout Session IDを取得するタスクで問題が発生する。ツール操作によって入力フィールドからフォーカスが外れるなどブラウザの状態が壊れることがあり、リフレッシュや再フォーカスで回復可能なはずが、エージェントが復帰できずタスクを途中で終了してしまう。

「本番で起きる問題はまだ評価されていない」という現場の声

元記事では、実務者のXへの投稿として以下のコメントが紹介されている。

多くのエージェント評価では、べき等性（idempotency）、リトライ処理、認可スコープのエラーといった本番環境で頻繁に問題になる要素がまだ見落とされている。

このベンチマークが示すのは、コード生成能力の限界よりも、検証の論理的推論・状態管理・多段階実行からの回復における弱さだ。単純に「コードが書けるか」ではなく、「結果が正しいと確認できるか」という問いを立てた点に、このベンチマークの設計意図がある。

StripeはこのベンチマークをGitHubのAIツールキットとしてオープンソースで公開しており、今後は曖昧な検証シグナルへの対処、ブラウザ状態の継続性、エンドツーエンドの統合正確性の改善を予定している。AIエージェントの評価手法そのものに関心がある読者には、関連する議論としてMLCommons等が進めるAIエージェント評価の標準化動向も参照する価値があるだろう。

詳細はStripe Benchmark Shows AI Agents Build Integrations but Struggle with Validationを参照していただきたい。