9月25日、Liz Hughesが「AI agents know what to do -- but should they have authority to do it?」と題した記事を公開した。AIエージェントがCRMやERPをまたいで情報を取得し、次の行動を推論できる時代になった今、「推論できること」と「実行してよいこと」は本当に同義なのか——この問いに企業のCIOたちが直面していることを、同記事は専門家の見解を交えて詳述している。
「書き込み権限」はまだ与えられていない
Omdia(Informa TechTarget傘下)のチーフアナリストであるLian Jye Su氏によれば、現時点でほとんどの企業AIエージェントには独立した書き込み権限(write authority)が付与されていない。組織はエージェントの行動範囲を広げる前に、人間による確認と承認を挟む形で慎重に運用している。
Su氏は、エージェントへの書き込みアクセス付与は今後拡大していくと見ているが、まずはビジネス上の影響が限定的なアプリケーションから始まるとしている。
SalesforceとGoogle Cloudが9月15日に発表したパートナーシップ拡張は、こうした状況の変化を象徴する動きだ。両社はAIプラットフォームを接続し、エージェントが既存の業務アプリケーションを通じてアクションを実行できる仕組みを整えた。ただし、複数システムをまたいだ接続は、「どのシステムが正のデータを持つか」「どの範囲までエージェントに変更を許可するか」「最終承認は誰が行うか」といった問いを新たに生む。
複数システムのデータが矛盾したとき、何が起きるか
エージェントがCRM・ERP・データプラットフォームの3システムから顧客情報を取得した場合、どのシステムの情報を信頼すべきかをエージェント自身が判断するのは危険だ。
Su氏は、企業はデータ種別ごとに権威あるソースを明示するマッピング——どのデータはどのシステムを「正」とするかを事前に定義した対応表——をあらかじめ用意しておくべきだとする。エージェントはこの事前定義ルールに従って動作し、矛盾するレコードのどちらが正しいかを独自に判断してはならない。(※「システム・オブ・レコード・マトリクス」という表現は編集部による意訳。元記事における原語表現は確認できていないため参考として付記する)
Reltio(エンタープライズデータ管理SaaS)のVP兼フィールドCTOであるKash Mehdi氏は、権威の所在はシステム単位ではなくデータ属性レベルで決まると指摘する。請求ステータスはERPが管理し、営業上の顧客プリファレンスはCRMが持ち、顧客識別情報は別のプラットフォームが最も信頼性が高い、といった具合だ。
「エージェントは、最後にクエリしたシステムや、より完全に見えるレコードを根拠に権威を決めるべきではない」— Kash Mehdi氏
曖昧なケースや高リスクの不整合は、自律的に解決させるのではなく、人間のデータスチュワード(データ品質・整合性を管理する担当者)にエスカレーションすべきだとMehdi氏は述べている。
「判断する権限」と「実行する権限」は別物
これが記事の核心だ。
Su氏は、AIは従来の企業システムの上に位置するオーケストレーション・判断レイヤーになると予測しているが、同時に「アクションを特定できる能力」は「それを実行する権限」を自動的に意味しないと強調する。
Mehdi氏も同様に語る。
「判断の権限と、トランザクションを実行・保存するシステムを混同してはならない」— Kash Mehdi氏
エージェントへの権限は、エージェントのID・実行タスク・対象データ・試みているアクションに紐づけて付与すべきであり、幅広い常時アクセス権を与えるべきではない。たとえば、あるデータは読み取り専用、別のシステムでは変更の推奨のみ、リスクの低い更新については書き込み許可、といった細粒度の設計が求められる。
金融機関での実例
ある大手カストディアン銀行では、エージェントが決済エラーの修正(ペイメント・リペア)を担当しており、これは従来オペレーション担当者が行っていた業務だ。ただし、AIが提示した修正内容は決済前に人間が検証するプロセスを維持しているという(Mehdi氏が幹部ラウンドテーブルで把握した事例)。エージェントが保留中の決済レコードを直接変更するのか、別ワークフロー経由で修正を実行するのかは確認されていないが、エージェントが担う作業と最終トランザクション承認を分離している好例だとMehdi氏は評している。
Su氏によれば、多くの企業は同様の境界を維持しており、現状は「ヒューマン・オン・ザ・ループ」(人間が監視しつつ自動化が進む形態)よりも、「ヒューマン・イン・ザ・ループ」(人間が介在して承認する形態)に近い運用が主流だ。
書き込み権限が引き起こす運用上の問題
書き込みを許可した場合も、別の問題が生じる。エージェントが古い情報を元にアクションを実行する、同じトランザクションを二重に発行する、変更が連鎖して複数システムに波及する、といったリスクだ。
Mehdi氏は、エージェントの「推論」と「実行」の間にポリシー検証チェックポイントを設けることを推奨する。このチェックポイントでは以下を検証する。
- 実行権限の有無
- 使用する情報の鮮度とprovenance(出所・来歴)
- ビジネスルールへの準拠
また、エージェントによる重要なアクションには監査可能な記録を残すことが必要だ。記録には、どのエージェントが・どの情報を使い・どのルールと権限を適用して・どのような変更を行ったかを含める。ロールバックが困難な場合に備えた補償トランザクション(compensating transaction)の仕組みも求められる。
CIOへの問い
CIOにとってこの課題は、個々のエージェントへの自律性付与にとどまらない。エージェントが複数アプリケーションをまたいで協調し始めるとき、既存のシステム・ワークフロー・従業員とエージェントの権限境界をどこに引くかを定義する必要がある。
元記事が提示する問いは、技術選定ではなくガバナンス設計の問いとして読むべきだ。すなわち、「どのデータをどのシステムが正として扱うか」「エージェントに自律実行を許すのはどのリスク水準のタスクか」「人間の承認を必要とするトリガーをどう定義するか」——これらを組織として明文化していない企業は、エージェントの導入拡大とともにガバナンスの空白が広がるリスクがある。
エージェントは「次に何が起きるべきか」を判断するのに十分な情報を持つかもしれない。だが、それを実際に起こす権限を与えるかどうかは、技術的な問題ではなくガバナンスの問題である。
詳細はAI agents know what to do -- but should they have authority to do it?を参照していただきたい。