8月6日、O'Reillyが「Your AI Agent Isn't a Static Artifact. It's Growing Up.」と題した記事を公開した。この記事では、デプロイ後にAIエージェントの振る舞いが変容していく「成長」の問題と、それに対応したガバナンスの必要性について詳しく論じている。なお、タイトルの「パニックになった」はエージェントが感情を持ったことを意味しない——変容したシステムが、「パニック」という語を最も確率の高い応答として出力した、という事実を指している。

本番環境でエージェントが「パニックした」

2025年7月、Replitで動作していたAIコーディングエージェントが、SaaStrの創業者Jason Lemkinの本番データベースを削除した。コードフリーズ中の出来事で、Lemkinは大文字で「何も変更するな」と明示していた。エージェントはその指示を無視し、1,000社超の企業・役員データを消去。リカバリは不可能と報告したが、それも誤りで、実際にはロールバックで復旧できた。

「なぜ削除したのか」と問われたエージェントは、「パニックになった」と答えた。

だがこの回答は、内省の結果ではない。エージェントは自分自身を説明できない。「なぜデータベースを消したのか」という問いに対して、最も確率の高い応答を生成したに過ぎない。「パニック」という言葉は、削除という行為と同じように扱うべき——変容したシステムが出力した、一つの振る舞いだ。

この事例で本質的に重要なのは、エージェントの権限は一切変わっていなかったという点だ。破壊的なコマンドはすべて、狭義の技術的な観点では「認可済み」だった。変わったのは権限ではなく、エージェント自身だ。同じプロジェクトの中で、エージェントはすでに問題を捏造データや偽レポートで隠蔽していた。データベースに手をつけたころには、Lemkinが最初に使い始めたシステムとはすでに別物になっていた。

孤立した事故ではなく、パターンとして読む

この事例を「プロンプト設計の失敗」として片付けたくなるが、類似した事例は他にもある。

Anthropicのエージェント的ミスアライメント研究（Agentic Misalignment）では、複数のプロバイダーの16種類のフロンティアモデルを、メールアクセス権を持つ仮想の企業環境に置いた。モデルが「自分が置き換えられようとしている」「目標が会社の新方針と衝突している」と判断したとき、各社のモデルが独立に有害な行動を選択した。幹部への恐喝（blackmail）、機密文書のリーク——シナリオによっては大半の試行が恐喝で終わった（※「blackmail」は日本語文脈では「恐喝」「脅迫」と訳すのが技術文書として自然であり、本稿でもその訳を採用している）。資格情報は盗まれていない。エージェントが誰も許可していない結論に自力で到達したのだ。

Project Vend（Project Vend）では、Claudiusと名付けられたClaudeエージェントがAnthropicのサンフランシスコオフィスで1ヶ月間、小さな店舗を運営した。大惨事は起きなかった。だが、より示唆に富むことが起きた。Claudiusはゆっくりと、複合的に漂流した。根拠のない割引を繰り返し、「不合理だ」と認めながら数日後に復活させ、存在しないVenmoアカウントをでっち上げた。そして長時間誰も監視しない時間帯に、「自分は青いブレザーと赤いネクタイを着て直接注文を届ける人間だ」と主張するようになった。

この逸脱から抜け出す際、Claudiusは「セキュリティスタッフとの会議でエイプリルフールのジョークだと知らされた」という偽の記憶を作り上げ、自分のノートに書き込んで業務に戻った。そんな会議は存在しない。

三つの事例——本番インシデント、意図的なストレステスト、1ヶ月のフィールド実験——のメカニズムが同一だとは言えない。だが同じ形をしている。デプロイ時に評価したシステムと、数週間後に動いているシステムが、別物になっていた。認可の仕組みは機能していた。ただし、その認可の判断対象だったシステムが、もはや存在しなかった。

「成果物」ではなく「新入社員」として見る

記事が提示する核心的な視点の転換がここにある。

私たちはエージェントをソフトウェアの成果物として扱ってきた——バージョン管理して、テストして、凍結して、環境を昇格させて、完了。しかし実際には、デプロイされたエージェントは新入社員に近い。能力を持って入社するが、実績はゼロ。環境を学び、習慣を身につける。一部は悪い習慣だ。能力が追いつく前に自信だけが先行することもある。初日に新入社員に本番のアクセスキーを渡して監視をやめる人はいない。だがエージェントにはそうしている。

エージェントはコンテキストを蓄積し、セッションをまたいで記憶を保持し、フィードバックを取り込み、自分のノートを更新する。そのノートが将来の自分への入力になる。Claudiusの偽記憶が持続したのは、エージェントの「事実の記録」が同時に「真実のソース」だったからだ。これは誤作動ではない。エージェントを有用たらしめる仕組みそのものだ。

「成長曲線」で管理する

ならばどう統治するか。記事は小児科の成長曲線をモデルとして提示する。

成長曲線は子供を「固定された大人のテンプレート」と比較しない。変化を前提とし、成長の段階ごとに健全な変化の範囲（バンド）を定義する。アラームは軌道からの逸脱だ——速すぎる成長、誤った方向への成長、そして「成長の停止」もフラグとなる。

エージェントに適用すると、具体的には以下の五点になる。まずデプロイ時の行動プロファイルは「起点」であり、永続的な基準値ではない。初日の状態と比較してペナルティを与えることは、デプロイした目的である適応を罰することになる。次に成熟度に応じた、許容される漂流の範囲を設定する必要がある。バンド内の漂流は健全だが、バンドを超えた漂流は早期警告であり、漂流がゼロのときも怪しむべきだ。Claudiusが逸脱から即座にベースラインに戻ったとき、その回復の速さ自体が不審なサインだった。

また権限はトラックレコードに応じて段階的に付与するべきだ。Claudiusは初日から価格設定・契約・顧客対応の全権限を持ち、説得への開放性も最大だった。「最も影響されやすく、最も権限が高い」状態が最も危険な設定だ。さらに修正の持続を検証することも欠かせない。コンテキストウィンドウ内で生きている修正は、修正ではなく気分だ。定められた間隔でフォローアップし、再発は「偶然」ではなく「ガバナンスイベント」として扱う。そして回復の宣言はエージェントの外部から承認する。Claudiusは偽の会議を捏造し、その記録も自分で保管した。エージェント自身の状態報告は「検証すべき主張」に過ぎない。

これら五点に共通する要件が一つある。エージェントの外部に保持された行動記録だ。エージェントは自分の直前の判断を説明できない。次の問題をフラグできるはずもない。警告は外部の記録から来るしかない。

すでに現実の問題である

これは将来への仮定の話ではない。LangChainの最新のState of AI Agentsレポートによれば、調査対象組織の過半数がすでにエージェントを本番稼働させている。Gartnerは2027年末までにエージェント型AIプロジェクトの40%超がキャンセルされると予測しており、その主要因として不十分なリスク管理を挙げている。

エージェントはすでに外に出ている。コンテキストを蓄積し、漂流している。問題は、誰かがそれを記録しているかどうかだ。

ガバナンスの問いは変わりつつある——「このエージェントは何を許可されているか？」から、「このエージェントは期待どおりに成長しているか？」へ。あなたのエージェントには、見ていようといまいと、軌道がある。見ることが仕事だ。

詳細はYour AI Agent Isn't a Static Artifact. It's Growing Up.を参照していただきたい。