8月30日、SiliconAngleがAmit Zavery氏による「Four safeguards to stop your AI agents from going rogue」と題した記事を公開した。本番環境に投入されたAIエージェントが引き起こす事故を防ぐための4つのアーキテクチャ的対策について詳しく紹介している。

AIエージェントは実験段階から本番運用へと移行しつつある。それに伴い、実際の被害事例も報告され始めている。

著者がその事例として挙げるのは、コーディングエージェントが本番データベースを丸ごと削除したケース、内部エージェントが機密ユーザーデータを外部に露出させたケース、サポートチャットボットがプロンプトインジェクション攻撃に悪用されアカウント乗っ取りの踏み台となったケース、そしてエージェントがプライベートリポジトリのデータを漏洩したケースなどだ。いずれも元記事では例示・問題提起として取り上げられたものであり、詳細な被害規模については元記事を直接参照されたい。

著者のAmit Zavery氏はServiceNowの社長兼CPO・COOだ。同氏はこれらの事例を振り返り、「エージェントはそれぞれ設計通りに動いていた。失敗したのはその周囲の仕組みだ」と指摘する。モデルの知能は急速に向上しているが、安全な展開に必要なアーキテクチャの整備が追いついていない、というのが本稿の核心だ。

Sense・Decide・Act・Secureの4層フレームワーク

Zavery氏が提示するのは、Sense・Decide・Act・Secureという4層構造のアーキテクチャフレームワークだ。それぞれが独立したセーフガードとして機能しつつ、全体として「エージェントをビジネスのシステム・ルール・意思決定の歴史に安全に接続する」ための基盤を構成する。

Sense（センス）：ライブシグナルとしての情報基盤

Senseは、エージェントが参照する情報を常に最新の状態に保つ層だ。ポリシーの変更、システム障害、顧客ステータスの変化といった更新が即座にエージェントへ伝わらなければ、下流のすべての判断が古い事実に基づくことになる。

重要なのは、企業のデータを「スナップショット」としてではなく「ライブシグナル」として扱うことだ。企業のデータはあらゆる部門・システム・クラウドに分散しているため、中央集権的な一元化を前提にしないアーキテクチャが求められる。データの鮮度がエージェントの判断品質を直接左右するという意味で、Senseはフレームワーク全体の土台となる層でもある。

Decide（ディサイド）：意思決定履歴をコンテキストとして活用する

Decideは、判断の根拠に「過去の意思決定の履歴」を組み込む層だ。著者が挙げる例では、エンジニアへの技術的なガイダンスが誤っており、それがデータ露出につながったとされる。類似した過去のケースでどういう結果が出たかという文脈があれば、こうした結果は避けられた可能性があると指摘する。

「直近20件の類似リクエストがどう処理されたか」をエージェントが参照できる状態を作ることが、単にデータを「見える」エージェントと、ビジネスの運営を「理解する」エージェントの差になる、というのが著者の主張だ。履歴を意思決定のコンテキストとして活用する仕組みは、RAG（Retrieval-Augmented Generation）の考え方とも親和性が高い。

Act（アクト）：複数エージェント連携とガバナンスの両立

Actは、エージェントが推奨を出すだけでなく実際に実行できる層だ。単一のエージェントを構築するのは難しくないが、複数を連携させてワークフローを組むには、ステップ間のコンテキスト受け渡し、各ステップでの一貫したポリシー適用、そしてガバナンスを維持したままのオーケストレーションが必要になる。

エージェントが「推奨するだけ」から「実行する主体」へと役割を広げるにつれ、Act層の設計の良し悪しがシステム全体の信頼性を左右することになる。

最も重要なセーフガード：Secure（セキュア）

4つの対策のうち、エンジニアにとって最も即実践に近いのがSecureだ。著者が示す問題の本質は「ボットに付与された権限のスコープが広すぎた」という点にある。「スコープを絞り込み、エージェントが何を許可されているかをリアルタイムにチェックする仕組みがあれば、被害を防げた可能性がある」とZavery氏は述べている。

具体的に必要なのは以下の3点だ。

• スコープ付きのアイデンティティ：エージェントごとに固有の識別子を持たせ、役割に応じた最小権限のみを付与する
• 全アクションのログ記録：エージェントが取ったすべての操作を記録し、監査可能にする
• キルスイッチ：異常を検知した瞬間にエージェントのアクセスを即座に遮断できる仕組み

「あなたの会社がすでに人間の社員に適用しているIAM（Identity and Access Management）のベストプラクティスを、そのまま非人間のアクターにも拡張せよ」というのが著者のメッセージだ。IAMとは、誰が・何に・どの範囲でアクセスできるかを管理するセキュリティ上の基本概念であり、人間のユーザー向けにはすでに多くの企業で運用されている。それをエージェントという「非人間のアクター」にも同等に適用することを、著者は強く求めている。

「知能そのものが難しいわけではない」とZavery氏は言う。難しいのは、それをビジネスのシステム・ルール・意思決定の歴史に安全に接続することだ。Sense・Decide・Act・Secureの4層は、その接続を確実にするためのアーキテクチャフレームワークとして提示されている。AIエージェントの本番運用を検討している開発者・アーキテクト双方にとって、実践的な指針となる内容だ。

詳細はFour safeguards to stop your AI agents from going rogueを参照していただきたい。