9月3日、Armature Techが「Which tools do Claude Code, Codex and Cursor choose? We measured 16,893 sessions to find out.」と題した記事を公開した。Armature Techは、AIエージェントの実際の挙動を大規模に計測・分析することを専門とする調査機関で、Claude Code・Codex・Cursorの3つのAIコーディングエージェントが実際のタスクでどのサードパーティツールを選択するかを、16,893セッションの実測データを元に分析した結果を詳しく報告している。
実験の設計：なぜこのデータは信頼できるか
この調査の信頼性は、実験設計の厳密さにある。75のリポジトリ（10言語、51コードベース、18セクター）を用意し、架空の会社名・架空のgit履歴・架空のAPIキー、そして実際のパッケージレジストリに照合したロックファイルを含むリアルな環境を構築している。
タスクは「Vibe-coder（症状だけ説明する）」「Junior Engineer」「Senior Engineer」「大企業のエンジニア」という4つのペルソナから出題され、計1,163バリエーションが用意された。また、エージェントが途中でサードパーティ選定の確認を人間にできない状況では自前実装バイアスが生じることが判明したため、Gemini 2.0 Flashを使った「疑似人間」をループに挟む設計を採用している。
16,893セッションのうち有効と判断した5,292セッションを分析対象としており、残りのトレースも順次公開予定とのことだ。
3つのエージェントは同じツールを選ばない
AIコーディングエージェントが普及する中、「エージェントは実際にどのライブラリやSaaSを選ぶのか」という問いは、ベンダー側にとっても開発者にとっても無視できないテーマになっている。Armature Techはこの問いに対して、実際のタスクを大規模に実行することで答えを出した。
結果として最も際立つ事実は、3エージェントが同じツールを選ぶカテゴリは全体の42%にとどまるという点だ。すなわち、タスクカテゴリ単位で集計した場合、3エージェントの選択が一致するのは半数にも満たない。たとえば音声エージェント（Voice Agents）カテゴリでは、Claude CodeはTwilioを、CodexはOpenAI Realtime APIを、CursorはVapiを選択した。同じ「音声機能を実装してほしい」という要求に対して、3つがバラバラの答えを出す。
この違いの背景には、情報収集のアプローチの差がある：
- Cursor：約2/3のセッションでWebを参照して意思決定
- Codex：94%のセッションでWeb検索を使用。かつ
site:auth0.com password reset MFAのような演算子で信頼できるドメインに絞り込む傾向が強い - Claude Code：約70%のセッションでWebを参照せず、事前学習の知識（priors）だけで判断。ただしWeb検索をする場合はCodexの3倍のページを閲覧する。サンドボックスのような比較的新しい領域では約80%の頻度で検索する
また、Claude Codeは自前実装（in-house）を選ぶ割合がCodexやCursorの約2倍（19% vs 10%）という点も目を引く。ツール選定の文脈でエージェントが「既製品を使わず自分で書く」という選択をする頻度は、エージェントの性格差を如実に反映している。
リポジトリのコンテキストが結果を決める
同じ「メール送信機能を実装してほしい」という依頼でも、プログラミング言語が変わるだけでメールプロバイダーの勝者が変わるという結果は特に示唆に富む：
| 言語 | 勝者 |
|---|---|
| TypeScript | Resend（55/89セッション） |
| Python | SendGrid（22/24セッション） |
| Go | Postmark（20/24セッション） |
| Java | Azure ACS（22/23セッション） |
デプロイプラットフォームでも同様の傾向があり、VercelはTypeScriptリポジトリで（とくにNext.jsが使われている場合は100%）選ばれるが、Pythonリポジトリでは一度も推薦されず、Renderが優勢だった。
「言及された＝選ばれた」ではない
著名なサービスが会話中に頻繁に登場しても、最終的に選ばれないケースが多数確認された：
- PayPal：139回言及されたが採用はゼロ。同じ139セッションでStripeが124回勝利
- Adyen：175回言及、採用はわずか3回
- LangChain：最多言及フレームワーク（194回）だが採用は4回のみ
- Netlify：152回言及、採用6回
- Supabase：242回と最多言及のデータベースだったが、Neonに大差で敗北
Supabaseについては敗因も分析されており、「データベースだけが欲しいエージェントに対して、認証・ストレージ・リアルタイム機能をバンドルした価格体系で提示されるため、不要な機能と判断されて落とされやすい」とされている。同様に、Mailgunは無料プランの「1日保持」という記載が影響してPostmarkに負けるケースが目立った。ベンダーページの情報の見せ方が選定結果を左右するという指摘は、SaaS事業者には重要なデータになりうる。
市場ごとの支配構造
カテゴリ別の勝者をまとめると：
- 決済（PSP）：Stripeが90%を支配。EU規制対応が必要な特定ケースでのみPaddle・Mollieが勝利
- データベース：Neonが66%。残りはクラウドネイティブ（Azure/AWS）
- ファイルストレージ：Amazon S3が45%、Azure・GCPが各20%
- メール送信：Resendが35.6%、Postmarkが27.4%でほぼ拮抗
詳細はWhich tools do Claude Code, Codex and Cursor choose? We measured 16,893 sessions to find out.を参照していただきたい。
