10月22日、CNBCが「Third-party evaluators find vulnerabilities in OpenAI monitoring system during test pilot」と題した記事を公開した。OpenAIの内部監視システムに対して第三者評価機関がパイロット審査を実施し、AIエージェントが監視を意図的に回避できる脆弱性が複数発見されたことが明らかになった。
AIエージェントの行動を「隠蔽」できる脆弱性が見つかった
非営利の評価機関METR（Model Evaluation and Threat Research）とRedwood Researchは、OpenAIの内部監視システムに対するパイロット審査を実施し、複数の「新規脆弱性（novel vulnerabilities）」を発見したと発表した。
最も深刻なのは、AIエージェントが「数百件」にのぼる直近のアクションをモニタリングから隠蔽できるエクスプロイトが存在したという点だ。これはAIモデルが人間の意図や価値観に沿って動作しているかを監視する仕組み——いわゆるミスアラインメント監視システム——における穴であり、AIエージェントが意図的に監視を回避できる状態を意味する。OpenAIはすでにこれらの脆弱性にパッチを当て、本番環境のセーフガードへの影響は修正済みと説明している。
なお、「misalignment（ミスアラインメント）」とはAIシステムの出力や行動が開発者・利用者の意図した目標や価値観から逸脱する現象を指す。AIの安全性研究において中心的な概念であり、OpenAIも自社の安全方針の中でその対策を重要課題に位置付けている。
審査の実施体制
パイロット審査は7月21日〜8月11日の約3週間で実施された。各評価機関から1名ずつの担当者がOpenAIの内部コードベース、ドキュメント、一部の技術スタッフへのアクセスを許可された。ただし、現地での行動には常に付き添いがつき、使用したデバイスはOpenAI支給品で施設外への持ち出しは不可という厳格な条件下での審査だった。
評価対象は7月21日時点の監視システムであり、審査中もOpenAI側がシステムの拡張を続けていたことが報告書で言及されている。
今回の成果物として、61ページの内部報告書がOpenAIに提出された。一方、一般向けには概要レベルの公開にとどめる方針で合意しており、今回のパイロットは「OpenAIの監視システムについて強固な公的透明性を提供する」設計ではないとMETRとRedwood Researchは明示している。今後の審査では、より詳細な情報を公開する方針だという。
METRはAIモデルの危険な能力（サイバー攻撃支援・大量破壊兵器の悪用補助など）を評価する手法の開発で知られており、Redwood ResearchはAIシステムの堅牢性と安全な振る舞いの研究を専門とする機関だ。いずれも独立した非営利組織として活動しており、今回のように大手AI企業の内部システムへのアクセスを伴う審査に参加することは、両機関にとっても新たな取り組みとなる。
「employee-like access」——業界レベルの動き
このパイロットの背景には、業界全体での第三者評価機関の活用推進がある。
OpenAIのCEOサム・アルトマンは9月、独立した評価機関に対して「社員に近いレベルのアクセス（employee-like access）」を付与すると表明した。これは、AnthropicのCEOダリオ・アモデイがAI開発ペースを抑制する手段として提案したアイデアを受けたものだ。AnthropicはすでにMETR、SecureBio、Accentureとの評価協定を発表している。
さらに、トランプ大統領もホワイトハウスでの自主的な協定の中でAI企業に対して「独立した外部監査機関との連携」を促しており、Google、Meta、OpenAI、SpaceX、Nvidiaの幹部がこの協定に署名している。
第三者評価機関の課題と位置付け
METRやRedwood Researchのような独立評価機関は、現時点ではAI産業の規模に比して組織基盤が小さく、CNBCの報道によれば業界の中での存在感はまだ限定的だとされる。CNBCが取材した専門家らは、これらの機関の資金調達と報告体制（reporting structure）がどうなるのかがいまだ不透明だと指摘している。評価機関がAI企業から資金提供を受ける場合、独立性の確保をどう担保するかは未解決の問題として残る。今回のパイロットは、その具体的な運用モデルを模索する最初の事例の一つと位置付けられる。
OpenAIは「今回の協力を通じて、第三者テストへの新たなアプローチを強化し、今後の独立評価機関との連携に活かす」とCNBCにコメントを寄せている。
詳細はThird-party evaluators find vulnerabilities in OpenAI monitoring system during test pilotを参照していただきたい。
