10月15日、Othmane Abou-Amal、Ben Cohen、Afshin Rostamizadeh、Ameet Talwalkar、Omri Sass、Daniel Shanが「Introducing Scout 1.0: A new SRE model powering Bits AI with frontier performance at a fraction of the cost」と題した記事を公開した。DatadogがSRE（Site Reliability Engineering）領域に特化した独自AIモデル「Scout 1.0」を発表した。Datadogが独自に構築した内部評価ベンチマーク上では、GPT-4.1やClaudeといった汎用フロンティアモデルと同等のインシデント調査精度を、推論コスト3〜19分の1で実現したと主張している。汎用モデルの高コストがAI SRE活用の足かせになっているという課題認識が背景にある。
自社ベンチマーク「AlertEval」での比較：コスト3〜19分の1
Datadogが独自に構築した内部評価ベンチマーク「AlertEval」での計測によれば、Scout 1.0 medium は GPT-4.1 Sol（high）および Claude Opus 5.5（high）と同等のスコアを、推論コスト3〜8分の1で達成している。さらにFable（medium）比では12分の1、Astra（medium）比では19分の1のコスト削減を実現しているという。
ここで登場するモデル名について補足する。GPT-4.1はOpenAIが提供する汎用大規模言語モデル、Claude Opus 5.5はAnthropicの上位モデルシリーズにあたる。FableおよびAstraはGoogle DeepMindが開発・提供する大規模言語モデルで、Astraは特に「Project Astra」として発表されたマルチモーダルエージェントモデル系統に位置づけられる。これらはいずれも現時点でのフロンティアモデルの代表格であり、Datadogはそれらとのコスト比較を前面に出している。
なお、AlertEvalはDatadog社内で設計・運用される評価ベンチマークであり、第三者機関による検証は行われていない。スコアの指標は「専門家が作成した参照解説（正解例）との一致度（0〜100点）」であり、汎用タスクや他分野での性能を測るものではない点には留意が必要だ。あくまでSREのインシデント調査という特定ドメインにおける比較であることを踏まえた上で数字を読む必要がある。
テスト時にスケーリングを行う最高精度モード「Scout 1.0 xhigh」では、FableのxhighモードをAlertEval上で超えるスコアを4分の1のコストで達成し、GPT-6 Astraと比較してもスコアで上回ると報告されている。
コスト削減が本質的に意味するのは、「調査を頻繁に走らせることができる」という点だ。汎用モデルを使い続ける場合、コストを理由に重大アラートに絞って調査を走らせることになる。Scout 1.0であれば、より多くのアラートに対して調査を自動展開し、インシデントの初期段階から証拠収集を始めることが現実的になる。
Bits Investigation：「常時稼働するファーストレスポンダー」
Scout 1.0は、DatadogのAI SRE製品「Bits Investigation」のバックエンドとして動作する。
Bits Investigationの動作は次のように進む：
- 仮説の形成
- テレメトリデータへのクエリ
- 証拠が結論を支持するかの判断
これらのステップで繰り返しモデル呼び出しが発生するため、1回の調査あたりの推論コストは積み重なる。Scout 1.0のコスト効率があることで、上記のサイクルをより多く、より早い段階で回すことが可能になる。
記事では、PostgreSQLのインシデントに対してScoutが診断結果と推奨リカバリアクションを提示するデモ画像も掲載されている。
GLM-5.3 Flashベースに強化学習でポストトレーニング
技術的な詳細として、Scout 1.0はGLM-5.3 Flashをベースモデルとし、強化学習（RL）によるポストトレーニングを施して構築されている。GLM-5.3 Flashは、中国のAI研究機関である清華大学発のZhipuAIが開発する大規模言語モデル「GLM」シリーズの軽量・高速版にあたる。汎用フロンティアモデルではなく、コスト効率の高い軽量モデルをベースに選択し、SREドメインの強化学習で性能を引き上げるというアプローチが今回の設計の核心だ。
トレーニングには実際の過去インシデントや実アラートから生成されたテレメトリデータを活用し、原因が既知のリアルなシミュレーション環境を構築している。顧客データは一切含まれないという。Scoutはシミュレーション内でBits Investigationと同様のツールを使いながら証拠を集め、複数の仮説を競わせる訓練を繰り返す。報酬は「原因を特定できたか」「証拠で結論を裏付けられたか」に基づいて設計されている。
AlertEval以外のサードパーティベンチマーク「SREGym」でも評価が行われており、Scout 1.0 mediumはベースモデルであるGLM-5.3-Flashを大きく上回り、コスト4倍以上削減でGLM-5.3を超えるスコアを記録している。Scout 1.0 highは、全競合モデル比で少なくとも2倍（Astra/Fableクラス比では10倍）のコスト削減を維持しながら、このベンチマークのトップクラスモデルに匹敵する精度を示している。SREGymはDatadog社外が運営するベンチマークであり、AlertEvalと異なる評価軸での検証結果として参照価値がある。
学習インフラはオープンソースツールをベースに内製し、シミュレーション・評価・モデルトレーニングの各システムをスクラッチで構築したとのことだ。
今後の方向性：「ファーストレスポンダー」から「唯一のレスポンダー」へ
Datadogは今後、より広範な障害パターンへのシミュレーション拡張と、調査品質の向上・コスト削減の継続を計画している。さらに、調査だけでなく自律的な問題修復（remediation）への拡張も視野に入れており、Bitsを「ファーストレスポンダー」から「唯一のレスポンダー」として機能させることを目標に掲げている。
現在、Datadogの社内エンジニアリングチームおよびクローズドプレビューの一部顧客がScout 1.0を実際のプロダクションアラートに対して使用中だ。プレビューへの参加はこちらのフォームから申し込める。技術的な詳細はテクニカルレポート（PDF）にまとめられている。
詳細はIntroducing Scout 1.0: A new SRE model powering Bits AI with frontier performance at a fraction of the costを参照していただきたい。
