7月17日、Tatiana Fesenko が「QCon AI Boston: Production AI Moves Beyond Prompts to Platforms, Harnesses, and Evals」と題した記事を公開した。この記事では、QCon AI Boston 2026で示されたプロダクションAIの本番運用における3つの主要課題——コンテキスト基盤、エージェントハーネス、評価（eval）——について詳しく紹介されている。
「プロンプトより前」の問題が本番を決める
QCon AI Boston 2026は、InfoQが主催するプロダクション志向のソフトウェアカンファレンスシリーズ「QCon」のAI特化版として2026年に開催されたイベントだ。実際に本番システムを運用するエンジニアや技術リーダーが登壇することで知られており、研究発表よりも「現場で何が起きているか」に焦点を当てた構成が特徴となっている。
そのオープニングキーノートで、OpenAIのMartin SpierはChatGPTのパフォーマンスについて語った。その内容は「推論を速くする」という話ではなく、推論の前段階——会話をモデルが扱える形に整形する処理——に焦点を当てたものだった。十分なコンテキストを与えつつ、速度を損なわないようにトリミングする。「モデルが速くても、プロダクトが遅ければ意味がない」という問題だ。
この視点は、カンファレンス全体を貫くテーマとなった。AIエージェントの開発が一巡し、今は「どう動かすか」に焦点が移っている。
"The basics became more important."
— Martin Spier, "Keeping ChatGPT Fast as AI Development Accelerates"
トレンド1: コンテキスト管理がプラットフォーム層になる
単一機能のアプリから、コンテキスト・ツールアクセス・ID・状態管理を担う共有基盤へ。これが1つ目のトレンドだ。
Ricardo Ferreiraは「コンテキストエンジニアリングは機能ではなくアーキテクチャだ。ここを正しく設計すれば、他のすべてが楽になる」と述べた。**MCP（Model Context Protocol）ゲートウェイ**やセマンティックツールカタログが、単なる便利ツールではなくコアインフラとして位置づけられている。MCPはAnthropicが提唱するオープン仕様で、LLMアプリケーションが外部ツールやデータソースと標準化された方法でやり取りするためのプロトコルだ。
コアインフラである以上、明確なオーナーとコントラクト（契約）が必要になる。これはマイクロサービスがAPIスキーマとオーナーシップを必要としたのと同じ構造だ。
トレンド2: 「ハーネス」がエージェントの信頼性を担保する
2つ目のトレンドはエージェントハーネス——モデルを囲むシステム——の重要性だ。
エージェントがツールやファイルにアクセスできるようになると、セキュリティをプロンプトの指示に委ねることはできない。ツールはユーザーが画面を見ていない間も実行できる。そのためプロダクションシステムには以下が必要になる：
- 状態の明確な所有権
- 書き込みの順序付け
- 承認境界（Approval Boundary）
- 監査証跡（Audit Trail）
Vinoth Govindarajanはこれを端的に表現している：
"Own the state. Order the mutation. Prove the action."
— "The Agent Harness: Control Planes, Invariants, and Approval Boundaries for Production AI Agents"
問題はもはや「エージェントが良い回答を返すか」ではなく、「どのコンポーネントが、どの制約・権限のもとで、何のアクションを実行したかを証明できるか」だ。
DoorDashのSiddharth KodwaniとSwaroop Chitlurは、GenAIプラットフォーム構築の経験から「戦略は早期に文書化し、カスタマー中心に構築せよ」と述べた。組織として「会社にフィットするサーフェスを自分たちで持つ」ことの重要性を強調している。
トレンド3: AI活用が「エンジニアリングの運営モデル」になる
AIの利用が組織全体に広がると、地味な問いが次々と現れる：コストは誰が負担するか、どのツールを誰が呼べるか、障害はどこに現れるか、チームはどこから学ぶか。
モデルをAPIで公開したり、チャットボットを渡したりするだけでは不十分だ。整備された導線（Paved Path）、共有ポリシー、評価ループ、オブザーバビリティ、コスト帰属、フィードバック機構が必要になる。
Lizzie Matusovは「最も成熟した組織が共通してやっていること」として2点を挙げた：
- SDLCを通じたAI活用の徹底的な改善
- 成果を制限するボトルネックの解消
1点目は、AIをソフトウェア開発ライフサイクル（SDLC）の各フェーズ——設計・実装・レビュー・テスト・デプロイ——に組み込み、単発の実験ではなく継続的な改善サイクルとして回すことを指す。2点目は、AIの恩恵がチームに届かない原因をデータパイプライン・権限管理・ツール整備の面から組織的に取り除いていく取り組みだ。どちらも「モデルを用意すれば現場が使う」という受け身の姿勢ではなく、AIを運用するためのエンジニアリング組織のあり方そのものを問い直す視点といえる。
Evalの設計が「プロダクトの形」に近づく必要がある
カンファレンスで特に議論されたのが評価（Eval）の設計だ。
シングルターンのテストや静的ベンチマークは、エージェントの実態に合わない。エージェントはツールを使い、状態を維持し、会話をまたいでコンテキストを引き継ぐ。1回目のターンではなく、3回目や5回目のターンで障害が起きることもある。
テストはプロダクトの形に近づける必要がある——会話、トレース、シミュレーション、本番からのフィードバック。ベンチマークが「成功」と報告していても、ユーザーはベンチマークが一度も試さなかったケースで詰まっている、という事態は十分起こりうる。
まとめ
QCon AI Boston 2026が示したのは、プロダクションAIがシステムの問題になりつつあるという現実だ。コンテキスト、データコントラクト、LLM/MCPゲートウェイ、状態管理、Eval、レイテンシ、コスト、オブザーバビリティ、セキュリティ——これらがプロンプトエンジニアリングに代わる主戦場になっている。
エージェントは同僚のように会話するが、ソフトウェアのように障害を起こす。それを運用するには、プラットフォームエンジニアリングと分散システムの古い知見が改めて必要になる。
詳細はQCon AI Boston: Production AI Moves Beyond Prompts to Platforms, Harnesses, and Evalsを参照していただきたい。
