8月29日、The Next WebのシニアライターであるMaria Korolov氏が「Why businesses need clearer limits before AI agents are authorized to act」と題した記事を公開した。AIエージェントの「できること（能力）」と「してよいこと（権限）」のギャップをどう管理するかが主題であり、権限設計の不備が企業にとって深刻なリスクになりつつあるという問題意識に貫かれている。

CIOの11%しか「準備できている」と答えていない

IBMが2,000人のCレベル幹部を対象に実施した調査（2026年）によると、AIエージェントの本格展開に「十分準備できている」と答えたCIOは11%にとどまった。言い換えれば、89%のCIOが「準備不足」と自認していることになる。さらに3分の2のCIO・CTOが「自分が責任を負うAIシステムを完全には把握していない」と回答し、70%が「チームが技術を導入するスピードにITが追いつけていない」と述べた。

IBMはこれを「コントロールギャップの拡大」と表現している。AIが業務全体に広がるにつれ、誰が何を許可したのかが不明瞭なまま自律的な行動が積み重なっていく構造的問題だ。

なお、AIエージェントの普及を後押しする技術的背景として、Model Context Protocol（MCP）のような標準化仕様の登場がある。MCPはAIエージェントが外部ツールや社内システムと連携するための共通インターフェースを定義するもので、エージェントが触れるリソースの範囲を急速に拡大させている。こうした技術潮流が権限設計の重要性をいっそう高めている。

「能力」と「権限」は別物である

この問題の核心を整理するのが、AIセキュリティ企業PromptHaloの創業者であるMadhuri Chandoor氏だ。PromptHaloはAIエージェントの信頼性・安全性を担保するトラストインフラを提供するスタートアップで、Chandoor氏自身は金融サービス分野で20年以上のキャリアを持つ。同社はAIエージェントが「何をしているか」だけでなく「なぜその行動をしているか」を検査する仕組みを提供している。

Chandoor氏が挙げる具体例が分かりやすい。インフラ管理を担うAIエージェントに「アプリケーションのパフォーマンスを改善せよ」と指示した場合、エージェントは本番環境でインデックスの追加・削除やテーブル構造の変更を自律的に実行する可能性がある。技術的には正しい判断でも、その変更がライブトランザクションや顧客データ、依存プロセスに波及するリスクをエージェント自身は考慮していない。

「狭い焦点の中では技術的な結論が合理的に見えることがある。しかしアクションを実行する前に、コンテキスト・状況・下流への影響を考慮する必要がある」— Madhuri Chandoor

1件ずつは合法、連続すると不正：閾値回避の問題

記事で最も実践的な論点が、閾値をまたいだ連続リクエストによる権限回避だ。

Chandoor氏の示す例はシンプルだが本質を突いている。あるエージェントは「50ドル以下の返金は人間レビューなしで承認できる」とする。ユーザーが500ドルの返金を求める代わりに、50ドルの返金リクエストを10回連続で送信した場合、各トランザクションは個別に見れば許可範囲内だ。しかしその連続性は閾値を意図的に回避しようとする行動パターンを示唆している。

これは金融詐欺の手口と構造的に同じであり、Chandoor氏はこの点に着目してAIエージェントの監視設計に20年間の金融サービス経験を応用している。

金融詐欺監視をモデルにした「行動プロファイリング」

Chandoor氏の提案するアプローチは、AIエージェントに対して「IDとアクセス権限」に加え「行動プロファイル」を定義するというものだ。具体的には以下の要素を継続的に監視する：

• エージェントがアクセスするリソースの種類と範囲
• ツールの使用パターン
• 時間経過に伴う活動量の変化
• 割り当てられた役割やセッションの目的と矛盾する行動

これは銀行が口座をまたいだ異常な取引パターンを検出するフラウドモニタリングと同じ発想だ。単一トランザクションではなく、文脈と連続性を見ることで異常を検出する。

設計段階から「観測ゲート」を組み込む

Chandoor氏はこれらの制御をAIエージェントの設計時と運用時の両方で検討すべきだと主張する。実践的な指針として以下を挙げている：

• エージェントがアクセスできるリソースと、そのアクセスに適用される条件を文書化する
• 特定のアクションが引き起こしうる下流への影響を事前に洗い出す
• リクエストが反復的・異常に広範・元の目的と不一致になった場合にレビューを行う「観測ゲート（observability gates）」を設ける

「観測ゲート」とは、エージェントの行動が事前に定めた条件を逸脱した際に自動で介入・通知する仕組みを指す。人間によるレビューを差し込むトリガーポイントとも言い換えられる。

Chandoor氏の立場は「AIの自律性を否定する」ものではない。分析やワークフローの自動化はむしろ推進すべきとしつつ、重要な意思決定や不可逆的なアクションに対しては追加の検証レイヤーを設けるという考え方だ。「信頼せよ、ただし検証せよ（Trust, but verify）」と彼女は表現している。

LLMの普及により、AIエージェントが触れる情報の範囲（ツール、社内データ、外部API）は従来のチャットボットとは比較にならないほど広がっている。MCPのような連携標準が整備されるほど、エージェントは組織の深部へとアクセスできるようになる。権限設計の不備が単なるバグではなくセキュリティインシデントに直結する時代に、「能力があることと権限があることは別だ」というChandoor氏の指摘は、システム設計の基本原則として重要度が増している。

詳細はWhy businesses need clearer limits before AI agents are authorized to actを参照していただきたい。