10月15日、Cognition（AIコーディングエージェント「Devin」の開発元）が「Introducing Devin Oncall」と題した記事を公開した。本番環境のアラートや障害報告をAIエージェントが自律的に調査・診断・修復する新機能「Devin Oncall」のGA（General Availability：一般提供）開始を発表するもので、実導入企業では本番アラートの50%をエンドツーエンドで自律処理するという具体的な数字も公開されている。

ベンチマークで100%達成、しかし本番は別の話

Devin Oncallは、AIエージェントのSRE（Site Reliability Engineering：サービスの信頼性・可用性を維持・向上させるエンジニアリング領域）能力を測るベンチマーク「SREGym」において100%のエンドツーエンド成功率を記録し、ベンチマークをsaturate（飽和）させたと報告されている。比較対象にはCodex、Claude Code、CloudThinker（中国発のAIエージェントツール）が挙げられており、いずれも下回る結果だった。

ただし、Cognitionはベンチマーク性能だけを売りにしていない。記事の本題は「制御された環境でのデバッグ能力」ではなく、複雑なレガシーシステムと大量のテレメトリデータが絡む実際の本番調査にある。

問題として挙げられているのは、エージェントが「最初にもっともらしい根本原因を見つけた時点で止まってしまう」点だ。エンジニアが「もっと深く掘れ」「本当の原因を探せ」と指示しなければ、相関関係を因果関係と混同したまま調査を終えてしまう。

この問題に対してCognitionが実装したのが、非同期で動くレビューエージェントだ。メインのDevinが調査を続ける傍ら、別のエージェントが直近の推論・ツール呼び出し・結果を監視し、「相関を因果と混同していないか」「矛盾するテレメトリを無視していないか」「トリガーを根本原因と取り違えていないか」をチェックする。たとえば「直近のデプロイ」は調査すべき手がかりであり、それ自体が因果説明にはならない、という判断をレビューエージェントが行う。

調査の実行と「結論が証拠から妥当に導けているか」の検証を分離したアーキテクチャは、実用的な視点から見て地味に重要な設計判断だ。

実導入企業の数字が具体的

記事には3社の導入事例が記載されており、いずれも具体的な効果が示されている。

• Reducto: Devinが複数アラートをまたいで懸念トレンドを検出し、本番アラートが発火するより先に自分でインシデントを起票。中程度の深刻度の問題はエンジニアへのページ前に修復またはPRを作成するまで対応している
• RV Tech（RivianとVolkswagenのJV）: 顧客レポートから車両IDやタイムスタンプを自動抽出し、ログ取得・解析スクリプト実行・トリアージを自動化。エンジニアは初期調査の代わりに分析結果のレビューだけを担う。複数人のエンジニアをプロダクト開発に戻せた
• AngelList: 社内製の調査ハーネス「Sky」と比較して根本原因の特定精度が3.5倍高く、インシデントの50%をエンドツーエンドで自律対応。なお「Skill」はDevin Oncallが組織ごとに蓄積する共通デバッグ手順のキャッシュ単位（詳細は後述）を指し、AngelListはSkyを廃止してDevin Oncallに一本化した

現在、世界の大企業の一部で1日あたり数千件の本番アラートを処理しているとされている。

「賢いエージェント1本で十分」という設計思想の転換

記事が明示的に述べているのが、特化型AI SRE企業が以前使っていた手法群の限界だ：

• 過剰にチューニングされた長大なプロンプトとランブック
• ネットワーク内に展開するオブザーバビリティコレクター
• エラーシグナルへの古典的機械学習やカスタムグラフアーキテクチャ
• SREタスク向けのポストトレーニング専用モデル

これらはモデルの限界を補うための手法だったが、モデルが賢くなるにつれて「前提が邪魔をする」問題が生じる。より賢いモデルから良い調査結果を得る代わりに、古い前提の巻き戻しに時間を使う羽目になる。

Cognitionはここで「Bitter Lesson」（リッチ・サットンの有名な論考：汎用的な手法がドメイン特化の工夫を長期的に上回る）を明示的に引用し、本質的なアーキテクチャは賢いエージェント1本という結論を導いている。

コンテキストの3層構造と、エージェントの2つのモード

クラウドエージェントとしてのDevin Oncallが持つコンテキスト管理は3層に分かれている：

• Per-Responder Memory: 各Oncallエージェントが固有のメモリを保持。担当者タグや挙動のカスタマイズを記憶する
• Per-Org Skills: 環境を定期的にインデックスし、「インシデントの影響を受けた顧客数の算出」「プラットフォーム依存サービスへのデータクエリ」などの共通デバッグ手順をSkillとしてキャッシュする。AngelListの事例で言及された「Skill」はこの単位を指す
• Per-Org Memory: 各調査終了後に有用な情報を抽出・保存し、次回調査で動的に参照できる組織知識のキャッシュとして機能

エージェントの動作モードは2種類：

• Responders（旧Auto-Triage）: 親エージェントがアラートストリームを監視し、新規問題と判断した場合のみ子エージェントを起動。既知の問題への重複調査をスキップすることで、約60%の調査をスキップし、コストを半減以上させている
• Incidents: インシデント用のメッセージングチャンネル内でエンジニアと並行して調査。親Devinがバックグラウンドで継続調査しながら、エンジニアからの個別質問には子Devinが対応するアーキテクチャで、親の調査フォーカスを維持する

詳細はIntroducing Devin Oncallを参照していただきたい。