10月13日、Artenisa Chatziouが「Production Patterns for Agents, Evals, and LLM Costs: QCon AI New York 2026」と題した記事を公開した。2026年12月に開催されるQCon AI New Yorkで登壇予定のプロダクションAI運用セッション群を紹介する内容だ。

AIをプロダクションに投入した後に何が起きるか。コードは人間がレビューできる速度を超えて生成され、トークンコストは膨らみ、評価（eval）の精度が不十分だとシッピング判断を誤り、エージェントには権限管理とガードレールが必要になる。QCon AI New York 2026（2026年12月15〜16日、ニュージャージー州ジャージーシティ）は、こうした問題をすでに本番環境で解決したシニアエンジニアたちが登壇するカンファレンスだ。

エージェントの権限管理：長期トークンに頼るな

今回のセッションの中で最も実務に直結するのが、エージェントのIDと認可に関するキーノートだ。

現状、エージェントにプロダクションアクセスを与える方法は大きく2択になりがちである。寿命の長いサービスアカウントをそのまま渡すか、スコープを狭めすぎてタスクが完了できなくなるか。どちらも実運用では問題を引き起こす。

キーノート「When Software Becomes a User: Identity and Authorization for Agents in Production」では、AWS Data Protectionを立ち上げたNancy Wangがこの二項対立に対する代替策を示す。エージェントが人間ユーザーと同等のID管理・最小権限原則の適用対象になるという考え方は、ゼロトラストセキュリティの文脈でも注目が高まっている領域だ。

さらに、LinkedInでKubernetes移行を主導したRonak Nathaniが「Inside LinkedIn's Kubernetes Ops Agent: Skills, Tools, and Guardrails」で、実際に動いているシステムの詳細を公開する。このエージェントは50万ノード・500万ポッド以上の環境を対象に動作しており、サーバーサイドのレートリミットやプロダクション変更に対するピアレビュー承認といったガードレールの実装を詳述する。これほどの規模でエージェントが自律的に操作を行う事例は珍しく、ガードレール設計の参照事例として価値が高い。

evalとトークンコスト：プロトタイプと本番の乖離

evalとは、LLMの出力品質を自動・定量的に評価する仕組みの総称だ。スコアが信頼できなければシッピング判断の根拠にならず、プロトタイプで「良い結果が出た」はずのモデルが本番でも同じ品質を保てているかを確かめることが難しくなる。

DoorDashのAgentic Ordering基盤を率いるFabio Floresは、シミュレーションセッションと本番セッションの両方に同一のジャッジを適用するアプローチを提唱する（セッション「From Signal To Impact: The Eval Loop Behind DoorDash's Agentic Ordering System」）。リリース前に測定した改善が本番でも再現されるよう、評価の一貫性を保つのが狙いだ。評価指標と本番挙動が乖離している場合、改善と思って行ったリリースが実際にはユーザー体験を悪化させるリスクがある。同一ジャッジの適用はその乖離を縮める実践的な手段の一つといえる。

コストの問題も深刻だ。プロトタイプとして機能していたエージェントも、コンテキストが増大するにつれてプロダクションでは採算が取れなくなる。LLMの利用コストはリクエストあたりのトークン数に比例するため、コンテキストウィンドウを効率的に管理することが直接コスト削減につながる。Netflixで分散キャッシュインフラを担当していたTejas Chopraは「Make Each Token Count: Compression, Caching, and Retrieval for Production LLM Context」で、プロンプト圧縮（入力テキストを意味を保ちながら短縮する技術）とプロバイダーキャッシュヒット率を上げるための並び替え手法、および会話履歴の階層型ストレージ設計と実際に踏んだ失敗パターンを詳述する。

AIがコードを書く速度に人間のレビューが追いつかない

AIコード生成ツールの普及により、プルリクエストのレビューが開発のボトルネックになりつつある。LinkedInでAIネイティブなソフトウェアエンジニアリングへの移行を主導するMin Chenは、低信頼度の指摘をフィルタリングしてから開発者に見せる手法を提案する（「High-Signal AI Code Review That Adapts to Your Codebase at Scale」）。このシステムは週に数万件のプルリクエストを約1万のリポジトリ横断でレビューしており、AIの提案がマージされたコードに実際に取り込まれたかどうかを測定する手法も紹介する。

Google CloudでDORA（DevOps Research and Assessment）を率いるNathen Harveyは、「AIの導入率」ではなくAIがすでに組織内にある問題をどう悪化させるかを見極めることが重要と主張する。DORAはソフトウェアデリバリーのパフォーマンスを継続的に調査・定量化してきた研究プログラムで、その知見をAI時代に適用するセッションとして注目度が高い。AIは組織がうまくやっていることをさらにうまくし、うまくいっていないことをさらに悪化させる、というのが彼の立場だ（「Building in the AI-First World: Scale Brilliance, Not Bottlenecks」）。

カンファレンスの形式と参加者にとっての意義

QCon AI New York 2026は参加者11人につき登壇者1人という構成で、セッション後に登壇者本人へ質問できる時間が確保されている。この比率は大規模カンファレンスと比べて著しく高密度であり、ユースケースや組織規模が異なる場合でも登壇者に直接確認できる機会が得やすい設計だ。セッションはベンダーニュートラルで、製品ピッチは含まない。プロダクションAI運用の課題を自社でも抱えているエンジニアや技術リーダーにとって、同様の問題をすでに乗り越えた実践者から直接知見を得られる場として機能することが期待される。確認済みのセッション一覧はQCon AI New York 2026 sessions pageで確認できる。

詳細はProduction Patterns for Agents, Evals, and LLM Costs: QCon AI New York 2026を参照していただきたい。