10月30日、Shift Magazineが「You shouldn't trust AI agents in production」と題した記事を公開した。AWSのDistinguished Developer AdvocateであるDarko Mesaros氏が語る、本番環境でAIエージェントを信頼すべきでない理由と、プロダクション移行前に必須の安全設計——ガードレール・コスト・オブザーバビリティの3点——を取り上げている。
「AIエージェントを信頼するな」——AWS開発者推進者の本音
AIエージェントをプロダクションに投入する動きが加速する中、WeAreDevelopers San Joseで登壇したDarko Mesaros氏は冒頭から「私は自分のAIエージェントを信頼しない」と断言した。
その理由はシンプルだ。AIエージェントは確率的なシステムであり、決定論的ではない。返金処理、商品販売、顧客の機密データ処理といった業務を任せるとき、「おそらく正しい」という動作原理は致命的なリスクになりうる。
実際、AIエージェントが誤ったツール呼び出しを連鎖させて大量の注文を誤処理したり、権限範囲を超えた操作を実行してしまったりといった本番障害はすでに業界で報告されている。「デモでは動いた」システムがスケールアウト後に予期しない挙動を示すのは、エージェント特有の確率的性質に起因することが多い。
「エージェント単体では、ガードレールなしでは問題がある。エージェントを作るとはLLMにアクセスするだけでなく、それを取り巻くシステム全体を構築することだ」— Darko Mesaros
デモと本番の最大の違いは「安全性」ではなく「コスト」
多くのエンジニアが意外に感じるかもしれないが、Mesaros氏はデモと本番の最大の差としてコストを真っ先に挙げる。
デモでは最大のモデルを選んで確実に動かそうとする。しかし数十万件の顧客リクエストを処理する規模になると話が変わる。プロンプトキャッシング、RAG（Retrieval-Augmented Generation）といった最適化手法はデモでは考慮しなくてよいが、本番では無視できなくなる。
安全性とガードレールは当然として、コスト最適化もプロダクション移行の必須検討事項だという視点は、実務に直結する指摘だ。
防御は多層で——ガードレール・権限・オブザーバビリティを同時に揃える
「ガードレール、権限管理、オブザーバビリティのどれを最初に入れるべきか」という問いに対し、Mesaros氏の答えは「全部だ」。
単一のガードレールだけでは不十分で、防御は多層構造で構築するのが前提となる。具体的には以下の組み合わせを推奨する：
- ガードレール：エージェントの出力や動作に制約をかける
- MCP（Model Context Protocol）入力バリデーション：ツール呼び出し前の入力検証
- 確定的なポリシーチェック：特定のツール実行を事前に制御
中でもオブザーバビリティ（可観測性）の重要性を強調する。エージェントが大規模に動いているとき、何をしているかを把握する手段がなければ、問題の検出もできない。自動トレーシングを実装し、エージェントだけでなくその背後にあるバックエンドシステムまで追跡する必要がある。
異常検知の例として、注文数の急増や通常とは異なるパターンを挙げており、「エージェント＋バックエンド」の両方のシグナルを組み合わせた異常検知が有効だとする。
自律性の範囲は「影響半径」で決める
どこまで自律性を与えるかという問いに対し、Mesaros氏は「ブラスト・レディウス（障害発生時の影響範囲）」を基準に考えるよう促す。
- 営業時間を案内するだけのチャットボット → 問題が起きても影響は限定的
- 銀行情報や購買処理を扱うシステム → 自律性を絞るべき
本番システムに対する責任は最終的に開発者にある、というのが氏のスタンスだ。
明日リリースするなら、この3つを必ず揃えろ
初めて本番AIエージェントをリリースする開発者向けに、Mesaros氏は3点を挙げる：
- オブザーバビリティ：モデルの動作と意思決定を継続的にモニタリング・評価できる仕組みを整える
- ポリシー言語（Cedarなど）：Cedarのようなポリシー言語でツール実行を事前に制御する
- 確立されたエージェントフレームワーク：自前実装は誘惑されるが、Strands SDK（AWSが提供するエージェント構築SDK）、LangGraph、LangChainといった既存ハーネスを使い、本来のビジネス課題に集中する
特に3点目は実践的な助言だ。「開発者はみんな自分で作りたがる」と氏は認めつつも、エージェントの制御に時間を取られることを避けるよう促している。
AIエージェントの本番運用は、LLMを呼び出す実装よりもその「外側」——ガードレール・コスト・オブザーバビリティ——の設計で品質が決まる。Mesaros氏の議論はその構造を整理する上で参考になる。
詳細はYou shouldn't trust AI agents in productionを参照していただきたい。
