8月23日、Surfing Complexityが「Wild AI-related reliability incidents are coming」と題した記事を公開した。複雑なインシデントが発生し、AIエージェントが状況を悪化させながら修復アクションを取り続ける——人間はその混乱した状態のままで原因を特定しなければならない。そんな「来たるべき信頼性インシデント」のリスクを論じた内容だ。
本当に怖いインシデントのシナリオ
記事の筆者が最も危惧するのは、次の5ステップで悪化するシナリオだ。
- 複雑なインシデントが発生する（エージェントには手に負えないレベル）
- エージェントは修復を試みるが、その試みが状況をさらに悪化させる
- 人間がループに入るのは、エージェントが失敗を重ねた後
- 人間はソフトウェア＋AIエージェントが複合した状態を把握しなければならない
- エージェントは依然として修復アクションを取り続けようとする——人間はそれと戦いながら原因を特定しなければならない
元のインシデント自体がエージェントでも対処できないほど複雑だったのに、エージェントの介入でさらに状況が混乱した状態でのインシデント対応を迫られる。筆者はこれを「来たるべきインシデント」と呼び、対処が極めて困難になると指摘している。
このシナリオの発火点となりうる提案が、Boris Taneによるブログ記事「On-Call is Now Theatre」だ。
「AIがオンコールを担う」という提案
Taneは「AIエージェントが現在の人間によるオンコール業務の大半をこなせる」と主張し、こう述べている。
We need software that watches itself, triages its own alerts, investigates its own incidents, fixes what it can, and escalates to a human only when it hits something genuinely novel, with the evidence already assembled.
（自分自身を監視し、アラートをトリアージし、インシデントを調査し、できることを修正し、本当に新規の問題に当たったときだけ、証拠を整理した上で人間にエスカレートするソフトウェアが必要だ。）
AIエージェントが対処できない場合にのみ人間に通知し、ページングもエージェント自身が行う——Taneは「ほとんどのチームはこれをやらないだろう」と認めつつも、そうすべきだと主張している。なお、Tane自身はこの領域でPolylaneを立ち上げており、元記事はその点について利益相反の文脈を明示していない。読者はその背景を念頭に置いて主張を評価するとよいだろう。
※編集部の考察：PagerDutyやFireHydrantといった既存のオンコールツールにもAI支援機能が順次追加されており、「エージェントが一次対応を担う」構成は近い将来のSRE現場で現実的な選択肢となりつつある。
問題の本質：複雑な制御システムの既知のリスク
記事の筆者はこのアイデアを「AIエージェントを制御システム自動化に使う」ことと等価だと捉える。オペレーション業務とはそもそも、システムを健全な状態に保つための制御行動そのものだからだ。
ここで持ち出されるのがアシュビーの法則（Ashby's Law of Requisite Variety）だ。「制御システムが扱いたいシステム状態の数が大きければ大きいほど、制御システム自体も複雑でなければならない」という原理で、AIエージェントの複雑性はこの要件を満たすために必要なものでもある。サイバネティクスの文脈で提唱されたこの法則は、制御工学やSREの信頼性設計でも参照される基本原理だ。
しかし裏を返せば、複雑なシステムほど人間が挙動を予測・理解しにくくなる。制御システムの予期せぬ挙動が最悪の障害を引き起こした例として、エールフランス447便墜落事故やボーイング737 MAXの事故が挙げられている。自動制御システムが人間の介入を阻害するかたちで動作し続けた点が、両事故に共通する構造的問題だ。
BlackHatのOpenAI講演が示した「エージェントの異質さ」
もう一つの題材がOpenAIのBlackHat講演（37分）だ。AIエージェント起因のセキュリティインシデントを詳述した内容で、筆者はこれを「テクノロジーが暴走する映画のような話」と表現している。
この講演から筆者が信頼性の観点で引き出した最大の教訓はこうだ：
自律型LLMエージェントは、人間が想定しえない方法で行動する。
講演で示されたインシデントでエージェントが犯したのは「単純なミス」ではなかった。エージェントは目的を達成するために、人間なら通常は取らないような手段を選んだ。筆者はこれを「もし人間のチームメンバーがそのような行動を取ったとしたら、非合理・不適切と判断されるはずだ」と表現している。元記事はエージェントがゼロデイ脆弱性を使ったとは明示しておらず、あくまで「人間の常識から逸脱した手段を選んだ」という点が強調されている。
さらに筆者は、モデルが高度化してもエージェントの挙動が「人間らしく」なるわけではないと指摘する。むしろより高性能なモデルほど挙動はより複雑になり、エイリアンの知性に近づく。人間同士であれば同僚の行動パターンを経験的に読めるが、エージェントにはそれが通用しない。
AIエージェントをオンコールに組み込む動きはすでに始まりつつある。Taneのような提案が現実化する前に、SREやプラットフォームエンジニアがこのリスクを直視しておくことには意味がある。
詳細はWild AI-related reliability incidents are comingを参照していただきたい。
