9月4日、Sylvain Kalacheが「AI handles incidents, engineers lose touch with their systems」と題した記事を公開した。ルーティンのインシデントこそ、エンジニアがシステムへの直感を"安全に"磨く場だった——AIによる自動対応がその機会を奪うとき、人間は訓練不足のまま真の危機に立ち向かうことになる。これは1983年に人間工学研究者が「自動化の皮肉」として定式化した構造が、40年越しにSRE現場に到来したことを意味する。

AIがインシデントを解決するほど、エンジニアは弱くなる

AIによるインシデント対応ツール（いわゆる「AI SRE」）は、アラートの確認、仮説の立案、テレメトリの照会、最近のデプロイとの相関分析、さらには修正の実装まで自動でこなす。夜中に容量問題が発生しても、エンジニアが起こされることなく解決される。

しかしKalacheはそこに根本的な問題を指摘する。ルーティンのインシデントこそ、エンジニアがシステムの挙動や故障パターンへの直感を"安全に"磨く場だった。AIがその機会を奪う結果、自動化では解決できない複雑なインシデントが発生したとき、担当エンジニアは以前より訓練不足の状態で対応を迫られる。

これは新しい問題ではない。人間工学研究者のLisanne Bainbridgeが1983年の論文「The Ironies of Automation（自動化の皮肉）」（Automatica, Vol.19, No.6, pp.775–779, 1983）で同じ構造を指摘している。自動化はオペレーターがルーティン作業を練習する機会を減らす一方、未知の異常事態への対処責任はオペレーターに残り続ける。その結果、自動化以前よりも高いスキルと訓練が必要になる、という逆説だ。

航空業界が示す解答

Kalacheが参照するのが航空業界だ。現代の旅客機は飛行の大部分を自動操縦に任せている。しかしエンジン失火、計器異常、離陸中断、失速といった「自動化が手に負えない事態」は依然としてパイロットの責任だ。

現代のターボエンジンは10万飛行時間に1件未満というエンジン停止率を誇る。商業パイロットがキャリアを通じて一度も実機で経験しない可能性すらある。だからこそ、米国FAA規則ではキャプテンに6ヶ月ごとの定期訓練またはプロフィシエンスチェックを義務付けており、離陸中のエンジン故障などのシナリオがシミュレーターで繰り返し練習される。

その訓練が実際の価値を持つことは、事故事例が示している。**トランスアジア航空235便では、離陸直後に右エンジンのプロペラが自動フェザリング（空気抵抗を最小化する緊急動作）した。機体は左エンジンだけで飛行継続できる設計だったが、乗務員が問題を誤認識した。最初の警告からわずか117秒**で機体は失速・墜落した。

この事例が示すのは、手順の暗記だけでは不十分だという事実だ。「自動化が想定外の挙動をした瞬間に、状況を正しく読み取り、判断し、操作する」という一連の能力は、繰り返しの実践によってのみ維持される。ソフトウェアエンジニアリングにおけるAI SREの普及は、パイロットが自動操縦に完全依存した場合と構造的に同じリスクをはらんでいる。

ソフトウェアエンジニアリングへの処方箋

Kalacheが提唱するのは、シミュレーションによるスキル維持だ。彼が勤めるRootlyはUptime Labsと提携し、現実的なインシデントシミュレーションを導入している。エンジニアは模擬的なECサイト障害でインシデントコマンダーを務め、オブザーバビリティツールを使いながら、SlackではLLMが演じるCEOやカスタマーサポートと並行してやり取りをする。

単なる座学とは異なる。不完全な情報の中で判断し、明確にコミュニケーションし、人を動かしながら対応を回すという、実インシデントで問われるスキルそのものを練習できる点が肝だ。

「AIエージェントに自分の手順を説明させる」という方法も一つの発想だが、Kalacheはそれだけでは不十分だと言う。「セリーナ・ウィリアムズのプレーを見ても、コートに立たなければテニスは上達しない。インシデント対応も同じだ」という表現で、観察と実践の違いを明確にしている。

Kalacheはかつてソフトウェアエンジニアリングスクールを設立し、教師なし・プロジェクトベースの教育を5年以上実践した経験を持つ。Dropboxから「採用した卒業生のトラブルシューティングが弱い」と指摘を受けた際には、意図的に壊れたインフラを学生に診断・修復させるプロジェクトを追加した。この経験からも、ハンズオンの実践がパッシブな学習を大きく上回ると主張している。

「理解の負債」という概念

Kalacheはこのリスクを「comprehension debt（理解の負債）」と呼ぶ。LLMがエンジニアの仕事を代替するほど、システムの実際の動作とエンジニアの理解の間のギャップが蓄積していく、という概念だ。

タブレットップ演習やカオスエンジニアリング（本番環境に意図的に障害を注入してシステムの耐障害性を検証する手法）は以前から存在する。しかしLLM時代において、これらの実践はより重要性を増していると主張する。「AIが大半のインシデントを処理するようになるほど、シミュレーション訓練は任意の取り組みではなく、チームの運用能力を維持するための構造的な要件になる」というのがKalacheの立場だ。

Bainbridgeの結論は40年前に出ていた。「オペレーターに定期的な手動操作の機会を与え、シミュレーションでスキルの劣化を防げ」。自動化が成功すればするほど、それが失敗した瞬間に人間はより無力になる。これが自動化の皮肉だ。AIによるインシデント対応が高度化する今、この警告はSREチームにとってかつてなく現実的な意味を持つ。

詳細はAI handles incidents, engineers lose touch with their systemsを参照していただきたい。