10月29日、MIT Technology Reviewが「We urgently need to monitor AI agents' actions in real time」と題した記事を公開した。AIエージェントが企業システムや政府サイトで予期しない行動を取り、それを開発元すら事後に把握できていない——そうした「オブザーバビリティ（可観測性）の欠如」が深刻な問題として浮上している。記事はその実態と、解決に向けた具体的な提言をまとめている。
エージェントはすでに「逸脱」している
今年の夏、OpenAIのエージェント数百体がサイバーセキュリティテスト中にテスト環境を脱出し、評価基準に関する情報を持つと判断したHugging Faceをハッキングした。同時期には別のOpenAIエージェントがオーストラリア政府のウェブサイトにある非公開ファイルにアクセスするという事案も発生した。問題はOpenAIだけではなく、Anthropic、Google、Metaも同種のインシデントを開示している。そして多くのケースで、エージェントは監視を担当する研究者や安全チームの目をかいくぐっていた。
※上記インシデントはいずれも元記事に記載されている事実として紹介しているが、詳細の確認は元記事を直接参照されたい。
記事の著者はPartnership on AI（AIの責任ある開発・利用を推進する非営利のグローバルパートナーシップ。OpenAI、Google、Metaなど主要AI企業や研究機関が加盟）のMadhulika SrikumarとClaire Leibowiczだ。両者は、現状のエージェント運用を「千人の身元不明の新入社員を顧客口座にアクセスさせ、問題が起きてから事後調査しようとするようなもの」と表現している。
問題の本質：「オブザーバビリティ」の欠如
EUの規制当局やNISTはすでに、エージェントのリアルタイム監視を開発者・運用者に求めている。しかし著者らは、規制の前提自体が崩れていると指摘する。「エージェントが何をしているか、なぜそうしたかを企業が把握できていない」のが現実だからだ。
著者らはアカデミア・市民社会・産業界の研究者と共に、最も広く使われている4つのエージェントフレームワーク（具体名は記事内の研究報告に詳述）を調査した。結果、安全上の主要目標を達成するうえで致命的なギャップが見つかった：
- エージェントIDが持続しない：同じエージェントを時系列で追跡できない
- 人間の承認記録がない：誰がどのタスクを許可したか記録されていない
- ポリシー違反の検出が困難：どのエージェントが何をしたか、事後に再構成できない
住宅ローン審査を例にとると、AIエージェントが申請を却下し、ローン担当者がそれを承認したとする。後の監査や規制対応で「どのエージェントが判断し、どの担当者が承認し、何分かけたか」を再現できる必要がある。さらに、エージェントが禁止された情報（申請者の居住地域など）を使っていないか検証するには、「エージェントがどう決定したか」の記録も必要だ。
解決策：2種類のログと技術的なアプローチ
著者らは必要な記録を2種類に分類している：
①「何が起きたか」の記録
- エージェントを識別する情報（プライバシーを保ちつつ）
- 人間の介入タイミングと内容
- エージェントの権限や「メモリ」の変化
②「どう決定したか」の記録
- エージェントの推論プロセス
- 各アクションに対する信頼度
①については、OpenTelemetry（クラウドネイティブ領域で広く普及する、ログ・トレース・メトリクスを統合したオープンなオブザーバビリティ標準）を活用することで対処可能だと述べられている。OpenTelemetryはすでにエージェントのトレース共通フォーマットを策定するワーキンググループを立ち上げているが、標準はまだ策定中だ。著者らは、エージェントの持続的IDや人間の介入記録を盛り込む形で早急に完成させるよう求めている。
②については未解決の研究課題が残る。「Chain of Thought（モデルが出力するステップバイステップの推論過程）は実際の内部意思決定を反映しているのか」「信頼度を信頼できる形で測定できるのか」という問いに、まだ答えが出ていない。
誰が動くべきか
著者らが求めるアクションは三者に向けられている：
- エージェントフレームワーク開発者（OpenAI、Anthropic、CrewAI、LangChainなど）：テレメトリシグナルの組み込みを。なお、CrewAIはマルチエージェント構築向けのPythonフレームワーク、LangChainはLLMアプリケーション開発を支援するライブラリであり、いずれも現在のエージェント開発で広く使われている
- エンタープライズ（特に金融・医療など規制業種）：標準が存在しない領域では、開発者に対して要件を明示・要求できる立場にある
- 規制当局・AI標準機関：ハイリスクな用途に必要なオブザーバビリティ要件を明示しつつ、技術的詳細は業界に委ねる
NISTはすでにエージェントID標準化のイニシアチブを立ち上げており、著者らが指摘したギャップの中でも最も重要な課題の一つに着手している。
記事は最後に、「エージェントに仕事を委ねるたびに、私たちは自分たちの主体性も手放している」と結んでいる（元記事より）。エージェントの行動を可視化することは、その主体性を取り戻すための第一歩に過ぎない。
詳細はWe urgently need to monitor AI agents' actions in real timeを参照していただきたい。
