8月4日、devops.comが「So Agentic Systems Are Messing Up Your SLO Framework」と題した記事を公開した。ダッシュボードはグリーン、エラーレートは正常、可用性は99.9%——それでもAIエージェントは静かに誤動作していた。従来のSLO（Service Level Objective：サービスレベル目標）が前提としてきた「決定論的なシステム」という設計思想が、AIエージェントの普及によって根底から崩れつつある。記事では複数の実務家が独立して同じ構造的結論にたどり着いた「3層SLOモデル」とその実装戦略が詳しく紹介されている。

ダッシュボードが「正常」なのに、エージェントは誤動作していた

本番環境でAIエージェントを運用するエンジニアチームは、ある共通のパターンで問題に気づく。まずダッシュボードが健全に見える。そして後になって、「ダッシュボードが正常」と「エージェントが正しく動いている」は別の話だと思い知る。

TestMu AI（旧LambdaTest）のプリンシパルエンジニア・Shahid Ali Khan氏はこう指摘する。「エージェントシステムは、既存の契約を壊した。しかしほとんどのプラットフォームチームが運用できる代替物は、まだ存在しない」。

従来のSLOが前提としていたのは決定論的なシステムだ。同じ入力には同じ出力が返る。ズレはそのまま障害を意味した。しかしAIエージェントでは、同一の入力が「どちらも正しく見える」複数の出力を生む。レイテンシp99もエラーレートも可用性も、「エージェントが期待通りに動いているか」は一切教えてくれない。

3層構造が解法：インフラ・推論・ふるまいを分けて測る

記事が取材した複数の実務家が、互いに独立して同じ構造的な結論に至っている点が興味深い。

FORMA by Universe GroupのCTO・Ihor Zakutynskyi氏と、Khan氏はそれぞれ独自に3層のSLOモデルにたどり着いた。

• 第1層：インフラ信頼性 — 従来どおりの可用性・レイテンシ・エラーレート。従来の誤りバジェット（エラーバジェット）で管理。
• 第2層：推論信頼性 — トークンレベルのレイテンシ、レスポンスタイムの分散、フォールバック発生頻度など、モデル固有のシグナル。
• 第3層：ふるまいSLO — 出力が構造化された契約を満たしているか、ベースラインとのセマンティックドリフト（後述）を計測。

Zakutynskyi氏の言葉を借りれば、「第1層で99.9%の可用性を達成していても、出力が定義した分散エンベロープを超えれば、ふるまい一貫性SLOは違反になる」。

Khan氏のチームは実装上、ローリングウィンドウでの出力分散を監視し、閾値を超えた時点でSLO違反と判定している。理論値から閾値を決めるのではなく、数週間の本番データから経験的に設定することを推奨している。

3層を単一の複合スコアに集約してはいけない理由も明確だ。インフラ障害はプラットフォームエンジニアへ、推論障害はMLチームへ、ふるまい障害はエージェントのゴール仕様を持つ人へ——層を分けることで初めてインシデントの正しいルーティングが可能になる。

「ステップ数」から始めるのが最も手っ取り早い

CiroosCEO・Ronak Desai氏は、実装順序まで含めた具体的なフレームワークを提示している。

1. ステップ数の監視（最優先）— 新規インフラが不要で、最も明白な障害を検出できる。「2ステップで解ける問題にエージェントが20ステップかけているなら、それは異常だ」とDesai氏。
2. タスククラス別レイテンシ — 「最初のバイトまでの時間」ではなく「論理的な結論1つあたりの時間」で測る。
3. pass@k正確性評価 — 単一スナップショットの二値判定（正解か不正解か）ではなく、同一問題に対してk回試行したときに少なくとも1回正解する確率を分布として測る手法。非決定論的なモデルの「実力」をより正確に捉えられる。
4. 信頼スコアと意図整合アラート — 高リスクな文脈で信頼スコアが低い行動を一級の信頼性イベントとして扱い、自動的に人間のレビューやロールバックをトリガーする。

トレースすべきは「リクエスト」ではなく「意思決定」

Khan氏のチームは確率的トレーシングに移行した。通常の分散トレーシングはリクエストが予測可能なパスをたどる前提で設計されているが、エージェントではパス自体が意思決定の結果だ。なお、OpenTelemetryコミュニティでもAIエージェントのトレーシング対応は現在進行形の議論領域となっており、標準化はまだ発展途上にある。

「どのツールが呼ばれたか、どの推論チェーンが使われたか、どの信頼スコアがその選択をトリガーしたか——これらをトレースアノテーションとして記録している」とKhan氏。現在の出力分布を過去数週間のベースラインと比較するドリフトダッシュボードは、従来のアラートよりも障害を予測的に検出できている。

ここで登場する「セマンティックドリフト」とは、モデルの出力が時間の経過とともに意味的に変化していく現象を指す。単語やJSON構造が同一でも、ベクトル表現（埋め込み）で見ると意味的なずれが蓄積している場合があり、「埋め込みベースライン」はそのずれを検出するための参照分布として機能する。機械学習寄りの概念だが、SREやDevOpsチームにとってはドリフト検出アラートの根拠として理解しておく価値がある。

Zakutynskyi氏は各リクエストにプロンプト、モデルバージョン、ポリシータグを記録し、中間推論トレースとツール呼び出しも保存する。これにより、「ネットワークノイズ由来の失敗」と「エージェントのロジック由来の失敗」をスキーマバリデーションとトレースリプレイで切り分けられる。

Oracleのプリンシパルクラウドインフラエンジニア・Arun Anbumani氏はさらに上流を見る。GPUやSmartNICのアクセラレータ健全性、ファームウェアリセット頻度、リトライ増幅、リソース競合といったハードウェア・ファームウェア層の変動が、AIコンポーネントに到達する前にすでにふるまいの分散を生んでいると指摘する。インフラ層を飛ばしてふるまいSLOから着手するチームは、観測の盲点を土台に計測システムを建てることになる。

誤りバジェットの帰属問題は未解決

エラーバジェットの設計では、既存フレームワークの限界が最も顕著に現れる。「エージェントが原因連鎖に含まれる場合、障害の帰属が本質的に難しくなる」とKhan氏。モデルドリフト、訓練分布外の入力、上流サービスからの不正なコンテキスト——いずれも外部から見たインシデントは同一に見えるが、オーナーと修正方法はまったく異なる。

Khan氏のチームはインフラ障害、推論障害、ふるまい障害に対して別々の誤りバジェットカテゴリを設けることでこの問題に対処している。

記事は最後にこう締める。「業界はまだ、本番AIシステムにおける許容可能な非決定性の共通標準を持っていない」。現時点では、各チームが本番データから経験的に基準を構築するしかない段階だ。

SLOの基本概念を改めて整理したい読者には、Googleが公開しているSREブックのSLO章が参考になる。また、オブザーバビリティの文脈でエージェント対応を検討しているチームは、OpenTelemetryのGen AI作業部会の動向も追っておくとよいだろう。

詳細はSo Agentic Systems Are Messing Up Your SLO Frameworkを参照していただきたい。