9月4日、Sylvain Kalacheが「AI handles incidents, engineers lose touch with their systems」と題した記事を公開した。AIがインシデント対応を自動化するほど、エンジニアがシステムへの理解を失っていくという構造的な問題を、航空業界の事例や1983年の人間工学研究と結びつけながら論じた内容だ。

筆者のSylvain Kalacheは、インシデント管理プラットフォームRootlyの共同創業者であり、自己修復システムの設計に長年携わってきたエンジニアだ。彼が警告するのは、「ルーティンのインシデント対応から人間が外れるほど、複雑な障害に対処する力が失われる」という逆説——そして、これはAI時代に初めて現れた問題ではない。

「コンプリヘンション・デット」という静かなリスク

Kalacheはこの状況に「コンプリヘンション・デット（comprehension debt）」という言葉を当てる。システムの実際の動作と、エンジニアがそれを理解している度合いの間に広がる、累積的なギャップだ。テクニカルデットになぞらえた造語で、AIエージェントが日常的なインシデント対応を代替するほど、このデットは静かに積み上がっていく。

「夜中に容量の問題が起きて、でも自分は起こされなかった」——AIによるインシデント対応ツール（いわゆる「AI SRE」）が実現するこのシナリオは、一見理想的だ。アラートの確認、仮説立案、テレメトリの照会、直近デプロイとの相関分析、場合によっては修正の実装まで、これらのツールはすべてこなす。しかし問題の核心は「練習機会の喪失」にある。ルーティンのインシデントは、単なる作業ではなく、エンジニアがシステムの挙動と故障パターンを安全に体感する場でもある。AIがこれを代替すると、エンジニアは「前例のない高深刻度インシデント」に直面したとき、これまでより経験の浅い状態で立ち向かうことになる。

1983年から続く「自動化の逆説」

この構造は、新しい問題ではない。人間工学研究者のLisanne Bainbridgeが1983年の論文「The Ironies of Automation」（※有料論文。概要はこちらで確認できる）で指摘した通りだ。Bainbridgeは「自動化はオペレーターのルーティン作業の練習機会を奪いながら、新しい異常な事態への対処責任は人間に残す」と論じた。つまり自動化が進むほど、人間はより高度なスキルとより多くのトレーニングを必要とする、という逆説である。

航空業界はこれをどう解決したか

Kalacheが参照するのが航空業界だ。現代の旅客機のタービンエンジンは10万飛行時間に1回未満しか飛行中シャットダウンが発生しない。商業パイロットはキャリア全体を通じて、シミュレーター以外でエンジン故障を経験しないまま退職することもある。

それでも事故は起きる。2015年のトランスアジア航空235便墜落事故では、離陸直後に右エンジンのプロペラが自動フェザリングした。機体は左エンジンだけで飛行継続できる設計だったが、乗員は問題を誤診。最初の警告からわずか117秒で失速・墜落した。

これを防ぐために、米国FAA規則ではキャプテンに6ヶ月ごとの定期訓練またはプロフィシェンシーチェックを義務付けており、離陸中のエンジン故障シナリオも含まれる。レアなイベントほど、定期的なシミュレーションで補完する設計になっている。

「説明を聞くこと」と「実際にやること」は別物

Kalacheが共同創業者として関わるRootlyでは、Uptime Labsと提携し、このアプローチをソフトウェアインシデント訓練に応用している。エンジニアはシミュレートされたECサイト障害でインシデントコマンダーを担い、オブザーバビリティツールを使いながらSlack上のLLM駆動ステークホルダーと連携する。CEOからプレッシャーをかけられ、カスタマーサポートと調整しながら、不完全な情報のなかで判断を下す——実インシデントの緊張感を再現する設計だ。

「AIエージェントに手順を説明させればいい」という意見もあるかもしれないが、Kalacheはこれを明確に否定する。「セリーナ・ウィリアムズのプレーを観て少し学べるかもしれないが、テニスはコートに立って初めて身につく。インシデント対応も同じだ」。

Kalacheはかつて、6年以上をソフトウェアエンジニアリングスクールの構築に費やした。教師なし、プロジェクト中心の実践教育を採用し、Dropboxから「卒業生のトラブルシューティング経験が不足している」と言われた後は、意図的に壊れたインフラを学生に与えて診断・修復させるカリキュラムを作った。この経験から彼は確信している——ハンズオンスキルにおいて、実践教育は受動的な学習に圧倒的に勝る、と。

AI時代に求められる「意図的な練習機会の設計」

Kalacheが提唱する対策は、カオスエンジニアリングとタブレットップ演習の継続的な実施だ。いずれも新しい概念ではないが、LLMが日常的なインシデント対応を肩代わりする時代においてその重要性は増している。

Bainbridgeの処方箋は「オペレーターに定期的な手動制御の機会を与え、シミュレーションでスキルの劣化を防ぐ」こと。自動化が成功するほど、それが失敗した瞬間に人間の準備ができていない——これが自動化の逆説だ。AI SREの導入を検討する組織にとって、この問いは避けて通れない。

詳細はAI handles incidents, engineers lose touch with their systemsを参照していただきたい。