9月30日、Pam Bakerが「As AI agents take action, CIOs have to govern the outcome」と題した記事を公開した。AIエージェントがすべてのアクセスルールをクリアし、技術的なチェックをパスしながら、それでも悪いビジネス結果を生み出す——AIが設計通りに動作している間に、ビジネスが損害を吸収するというのが、記事が提示する問題の本質だ。CIOはデプロイ後のガバナンスをどう設計すべきか。記事が示す5つの実践的施策を紹介する。
「技術的には正常」でもビジネスは損害を受ける
AIエージェントはスループットを改善しながら顧客満足度を悪化させたり、ワークフローを「完了」とマークしても実際の変更が宛先システムに反映されていないケースがある。OracleがERPに自律型エージェントAIの組み込みを推進するなど、ベンダーがライブのビジネスプロセス深部にエージェントを押し込んでいる現状では、この問題はより切迫している。
ACM（Association for Computing Machinery）——コンピュータ科学分野における世界最大の国際学術団体——のグローバルポリシーディレクター、Tom Romanoff氏はこう述べる。
「ガバナンスの問いは『このAIは理論上安全か？』ではない。『問題をビジネスに損害が出る前に検知して対処できる組織能力があるか？』だ。」
以下、記事が提示する5つの実践的ガバナンス施策を紹介する。
1. 「良い結果」を事前に定義する
最も本質的な指摘がここだ。精度、ドリフト、レイテンシ、タスク完了率といった技術指標はシステムパフォーマンスを説明するが、ビジネスへの貢献か損害かは判断できない。
Alteryx——データ分析・自動化プラットフォームを手がける米国企業——のCIOであるJulie Irish氏は、「良い結果がどういうものかを定義し、そこに向けてシステムを監視する」ことを推奨する。具体的な指標としては、顧客クレーム数、訂正・取り消し件数、手動再作業の発生、異常な支出、ハンドオフの失敗、従業員によるオーバーライド（AIの判断を人間が上書きすること）などが挙げられる。
監視の厳密さは「ミスの影響度」に比例させるべきという考え方も重要だ。下書きや内部サマリーは修正可能だが、送金・データ削除・顧客への連絡・法的権利に影響する行動は取り消せない場合がある。後者には、実行前に介入できるランタイム制御が必要になる。
2. 結果に「人間のオーナー」を割り当てる
ダッシュボードは責任を負えず、委員会は火曜の午後に発生したインシデントに間に合わない。
Innodata——AIデータサービスおよびエンジニアリングを手がける米国企業——の副社長、Jyotsna Jha氏はこう言い切る。
「一人が止められなければならない。四半期委員会は火曜の午後には介入できない。」
実用的なルールは「同じ仕事を人間がやっていたときに結果を所有していた人に責任を固定すること」だ。自動化された顧客対応の判断はカスタマーサービスリーダーが、自動化された財務アクションはファイナンスリーダーが引き続き責任を持つ。AIの導入が責任の空白を生んではならない。
3. 結果を独立して検証する
AIエージェント自身の報告を唯一の証拠にしてはならない。
PipelineOS創業者のWesley Cable氏は、ライブクライアントシステムへの書き込み・公開・操作を行うエージェントを使う中でこれを痛感した。あるケースでは、パッケージが公開承認されたにもかかわらず、別の公開ジョブが予算上限に達して停止し、リトライせずに終了した。期待していたページは一切公開されなかった。
Cable氏の会社は現在、公開ページを実際にロードして承認済みテキストを検索することで宛先側の状態を直接確認するようにしている。
「AIが自分の仕事を報告したことは、手がかりであって、事実ではない。」
4. 介入トリガーをインシデント前に設定する
「人間による監視」は、何をもって人間が動くかが定義されていなければ意味がない。クレームの急増、繰り返される訂正、意図した目的外の行動、保護対象グループへの悪化した結果などがトリガー候補として挙げられる。
重要なのは、完全シャットダウンだけを選択肢にしないことだ。AIシステムを停止するとビジネスプロセス自体が止まるため、企業は踏み切れない場合が多い。Jha氏は、スコープを縮小する・自律度を下げる・より多くの判断を人間に送るといった「小さな介入」を事前に準備し、必要になる前にテストしておくことを推奨する。
5. 「人間とAIの不一致ログ」を取る
見落とされがちなガバナンス記録として、CODE/+/TRUST（AIの信頼性・倫理・ガバナンスに取り組む非営利団体）共同創業者のPatrick Bryant氏はdisagreement log（不一致ログ）を推奨する。人間がAIの判断をオーバーライドした場所と、AIが人間にエスカレーションした場所を記録・分析することで、システムの判断と実際のビジネス要件がどこでずれているかが見えてくる。
オーバーライド率が高ければ、AIに与えた自律性や指示が不適切な可能性がある。逆に率が低すぎる場合も警戒が必要で、レビュアーが実質的な判断をせずに承認しているだけかもしれない。
エージェント連鎖における責任の可視化
マルチエージェント構成——エージェントが他のエージェントに作業を委譲する構成——が増える中、DigiCert（PKI・デジタル証明書管理を手がけるセキュリティ企業）CTOのJason Sabin氏は、すべてのエージェントに検証可能なアイデンティティ・人間オーナー・境界設定を持たせる「AI Agent Passport」というアプローチを紹介している。このコンセプトは、NIST AI RMFが示すトレーサビリティの考え方とも方向性を同じくする。
Deloitte ConsultingのMehdi Houdaigui氏はこう述べる。トレーサビリティがなければ、失敗がAI起因なのか、制御の問題なのか、誤用なのか、業務プロセスの欠陥なのかを判断することが困難になる。
ポストデプロイガバナンスの目的は、AIが絶対に誤判断しないことを保証することではない。許容できない結果を認識し、誰がオーナーかを特定し、損害が広がる前に介入し、次の判断に学びを活かすこと——これが「監視」をポリシー文書から実際の運用能力に変える、とHoudaigui氏は言う。
詳細はAs AI agents take action, CIOs have to govern the outcomeを参照していただきたい。
