8月8日、InfoQが「Keeping ChatGPT Fast as AI Development Accelerates」と題した記事を公開した。AIエージェントの普及によってエンジニア1人あたりのPR数が70%増加した環境で、OpenAIがChatGPTのパフォーマンスをどう維持しているかを、パフォーマンスチームのリードが解説した講演の記録だ。
登壇者はMartin Spier氏。Netflixでおよそ9年間をパフォーマンスエンジニアリングに費やし、現在はChatGPTのパフォーマンスチームをリードする人物だ。講演の核心は「2つの加速」——ユーザー成長の加速と、AIエージェントによるコード変更速度の加速——が重なったとき、パフォーマンス管理がどれほど難しくなるか、という問いにある。
AIエージェントがPRを70%増やした——「人間がコードを理解して出荷する」前提が崩れた
本講演でSpier氏が最も強調する点がここだ。
従来のソフトウェア開発では、何かを本番に出荷する前に「それを書いた人間がコードを理解している」という暗黙の前提があった。しかしアジェンティックコーディング（AIエージェントがコードの生成・修正・レビューを自律的に行う開発スタイル）が普及したことで、この前提が崩れつつある。
「抽象化のレイヤーが一段上がった。エンジニアはエージェントに多くの作業を委任しているため、出荷されるすべての詳細を把握しているわけではない」
OpenAIでは、Codex（OpenAIのコーディングエージェント）の展開以降、エンジニア1人あたりの週次PR（プルリクエスト）数が70%増加した。現在はほぼ全エンジニアがCodexを日常的に使用しており、すべてのPRはCodexによる自動レビューを経る。
さらに顕著な変化は並列性だ。エンジニアは1つのタスクを順番にこなすのではなく、エージェントを使って7〜10個のタスクを同時並行で進める。コーディング支援にとどまらず、本番バグのトラブルシュート、メトリクスの解析、ドキュメント要約、スレッドのサマリーなど、開発ワークフロー全体の「ワークベンチ」になっている。Spier氏本人もこのプレゼンテーションのアウトライン作成からスライドのビジュアル生成まで、Codexを使ったと明かしている。
ChatGPTのスケールを改めて整理する
この変化が深刻なのは、ChatGPTが運用するシステムのスケールを踏まえると一層よくわかる。
ChatGPTは2022年末に「研究プレビュー」として公開された。フルスケールを前提に設計されたサービスではなく、試験的な公開だった。それが5日間で100万ユーザーに達した。その後も成長は止まらず、2025年2月時点での公式数字は週間アクティブユーザー9億人。地球上の全人類の約11%に相当する。
成長はなめらかではなく、スパイクの連続だった。画像生成（ChatGPTのStudio Ghibli風画像が話題になった時期）では、公開から最初の7日間で1億3,000万ユーザーが7億枚以上の画像を生成した。こうした予測不能な爆発的需要がインフラチームを常に追い込み続けた。
変更速度の加速が「隠れたコスト」を急速に積み上げる
コードの変更量が増えると、パフォーマンスへの影響も当然増える。Spier氏は「大きなリグレッション」だけが問題ではないと指摘する。
- 追加されたひとつの
if文 - 増えたネットワークリクエスト
- メモリ上に保持されるデータ構造
これらは単体では無視できるレベルだが、積み重なって複合する。変更速度が上がれば上がるほど、この複合の速度も上がる。ユーザー体験の悪化（レイテンシの増大）、インフラコストの増加、スケーラビリティのヘッドルーム喪失——これらは「後から気づく」形で現れる。そしてスケーラビリティ問題は、いずれ信頼性問題になる。
パフォーマンスエンジニアリングとは、システムのレイテンシ・スループット・リソース効率を継続的に計測・改善し、劣化を未然に防ぐ専門分野だ。従来はリリース前後の定点的な計測が中心だったが、変更頻度が人間の監視限界を超えた今、その手法そのものを見直す必要に迫られている。
従来のパフォーマンスエンジニアリングは「機能を出荷するチーム」と「効率を守るチーム」の綱引きだった。しかし変更速度が大幅に上がった今、その綱引きのバランスが一方向に傾き続けている。
パフォーマンスエンジニアリングの実践的対応
この加速にどう対応するかという実践的なアプローチとして、講演ではアジェンティックな開発環境においてパフォーマンスの劣化を早期に検知・対処するための観測体制と文化的変化が論じられている。変更のたびに人間がボトルネックを精査する従来モデルは成立しなくなっており、継続的な計測の自動化や、エージェント自身がパフォーマンス観点を内包するような仕組みへの移行が求められているという。
詳細はKeeping ChatGPT Fast as AI Development Acceleratesを参照していただきたい。
