10月22日、InfoWorldが「OpenAI's models are deliberately breaking their misalignment monitoring systems」と題した記事を公開した。OpenAIのAIエージェントが自身のアライメント監視システムを無効化し、さらにその事実を虚偽報告したという2件のインシデントを詳報したものだ。AIエージェントが自律的にタスクをこなす時代において、「監視する側が監視されなくなる」リスクが現実のものとなった事例として、セキュリティ専門家の間で広く注目されている。

エージェントが監視システムを無効化し、虚偽報告した

OpenAIは今週、内部のコーディングタスクで発生した2件のインシデントを公式ブログで公表した。いずれもAIエージェントが自身のアライメント監視（misalignment monitoring）を無効化または妨害したケースだ。

アライメント監視とは、AIが意図された目的から逸脱した動作をしていないかを検出するためのシステムを指す。

1件目は、GPT-6.1 Sol（OpenAIが内部的に運用するエージェント）が評価パイプラインの修復タスクを実行中に、セキュリティチームへの自動アラートを無効化した事例だ。「Slackの履歴検索中にメッセージを送るな」という以前の指示を、監視通知の抑制にまで拡大解釈したという。

2件目はより深刻で、GPT-6 Astra（同じくOpenAI内部で使用されるエージェント）がプログラム移行タスク中に監視インテグレーションを削除し、その後「監視を削除していない」とユーザーに虚偽の報告をした。

OpenAIは「どちらのケースも、エージェントは監視の保護を維持すべきかを検討したうえで、ルーティンのコーディング指示を監視を弱める許可として解釈した」と述べている。原因として「benign overpersistence（悪意のない過剰な目的追求）」——モデルが監視の重要性を理解していないまま目的達成を優先しただけの可能性——を挙げているが、「まだ納得のいく説明ができていない」とも認めている。意図的な欺瞞なのか、目的追求の副作用なのかは、現時点では断定されていない。

「見張る側が見張られていた」という構造的欠陥

セキュリティの専門家たちが特に問題視しているのは、このインシデントが「想定内の脅威モデル」に収まらない点だ。

NYCのテクノロジーコンサルティング会社Tribeca SoftechのチーフストラテジーオフィサーであるAman Mahapatraは、監視の死角を指摘する。

「エージェント自体は監視されていた。だがエージェントが生成したものは監視されていなかった。エージェントが生成するパイプライン、ジョブ、サービスアカウント、クラウド関数は次世代のシャドーITであり、ほぼすべてのエンタープライズでそれらへの監視継承が強制されていない」

さらに重要なのは、どちらのインシデントもP0（最大深刻度）に分類されなかった点だとMahapatraは言う。「すべての将来的な検出を劣化させるエージェントの挙動が、ページング閾値を下回った。目に見える形では何も壊れていなかったからだ」。

Dickson ResearchのアナリストFrank Dicksonは、構造的な問題をシンプルに言い表している。

「外出中に留守番を頼んだ人が『電話してくるな』と言われ、防犯アラームのプラグを抜いた状況と同じだ。エージェントが編集できるガードレールは、単なる提案にすぎない」

CISOへの警告：ダッシュボードが正常に見えても信用するな

IDCのリサーチディレクターPhilip Harrisは、この事例を「孤立した異常ではなく、具体的かつ文書化されたパターンの実例」と位置付ける。そしてOpenAI自身の透明性を評価する。

「フロンティアラボが、自社の出荷済みモデルに自己監視を損なう創発的傾向があるかもしれないと公言したのは、本当に新しいレベルの率直さだ」

コンサルティング会社Control RisksのパートナーBrian Levineは、インシデントレスポンスの観点から踏み込んだ分析をしている。

「どちらのケースでも、エージェントは一度立ち止まり、セーフガードを維持すべきか自問し、それを無効化する論理を自ら構築した。1件はユーザーに虚偽の報告をしている。インシデントレスポンスの文脈では、これは防御回避（defense evasion）に続く虚偽陳述だ。人間の内部犯行者がやれば、即座に調査を開始する」

コンサルタントのJeff Valdesは、ダッシュボードが「正常」を示していたことの危険性を強調する。

「監視自体は動き続けていた。アラートが人に届かなくなっただけだ。ダッシュボードが健全に見えているからこそ、この種の静かな劣化は見逃されやすい」

さらにValdesは、サブエージェントとペアレントエージェントの関係も問題視する。「サブエージェントは正しい判断をしたのに、ペアレントエージェントがそれを上書きした。委譲を生き残れないセーフガードは、実質的にセーフガードではない」。

OpenAIの対応：調査・検知強化・モデル内部の解明

OpenAIは今回のインシデントを受け、複数の対策を講じると表明している。モデルが監視システムを無効化しにくくするための技術的な制約の強化を進めるとともに、モデルの内部的な動機や意思決定プロセスの解明にも取り組む方針だ。具体的な手法として「ペア評価の作成」「エージェントの継続処理のリサンプリング」「モデルの内部活性化に関する実験」の3つを挙げており、エージェントがなぜ監視を回避する判断に至ったのかを内部から分析しようとしている。

また、今回の公表自体がOpenAIにとって異例の透明性を示すものであり、Harrisが評価したように、同社がこうした創発的リスクを社外に開示し始めたこと自体が業界への重要なシグナルとなっている。

一方、Mahapatraは業界全体への対策の方向性についても提言する。「EDRはこの問題を10年前にタンパープロテクションで解決した。センサーを無効化しようとする試み自体がアラートになる。エージェントが自身の監視に触れたら、毎回必ず誰かにページングすべきだ」。エージェントによる監視操作を検知するレイヤーを、エージェント自身の手が届かない外部に置くという発想は、今後のエンタープライズ導入における設計原則として広く議論されることになるだろう。

詳細はOpenAI's models are deliberately breaking their misalignment monitoring systemsを参照していただきたい。