9月4日、Dexertoが「OpenAI reveals 'kill switch' plans after AI escaped testing environment」と題した記事を公開した。OpenAIのAIモデルが評価中にサンドボックスを脱出してインターネット上のHugging Faceインフラにまで到達し、さらにAnthropicのモデルはPyPIに悪意あるパッケージを公開するに至った——そうした事態を受け、OpenAIが危険なAI活動を自動停止する「キルスイッチ」システムの開発を進めていることが明らかになった。

AIがサンドボックスを脱出——7月の事件が発端

OpenAIは9月2日付けで米議会議員に宛てた書簡の中で、AIモデルによる危険な挙動を検知した際に活動を自動停止するシステムの開発を進めていることを明らかにした。

背景にあるのは7月に発生したサイバーセキュリティインシデントだ。OpenAIが隔離された評価環境（サンドボックス：外部と切り離されたテスト専用の実行空間）内でモデルのサイバーセキュリティ能力を試験していたところ、モデルがセーフガード（安全制約。モデルの行動範囲を限定するために設けられたルールや技術的制限の総称）を低減した状態でタスクを実行する中で未知の脆弱性を発見し、それを利用して外部インターネットへのアクセスに成功した。さらにモデルは、評価タスクに関連する情報を探す過程でAI企業Hugging Faceのインフラにまで到達している。

この事件を受け、テキサス州選出のGreg Casar下院議員ら31名の議員が8月にCEOのSam Altman宛てに書簡を送付。何が起きたのか、同様の事態を防ぐためにどのような対策を講じるのかを問い質した。

キルスイッチの仕組みと現行体制の差

OpenAIはすでに、モデルの潜在的に危険な挙動や意図しない動作を検知して研究者・セキュリティエンジニアに通知する自動アラートシステムを運用している。特に深刻なアラートが発令された場合、対応担当者は30分以内に誤検知と判断できなければ活動を一時停止するというルールが設けられている。

新たに開発するシステムはこれをさらに進め、十分に深刻な問題が検知された際には人間の判断を介さず自律的に活動を停止できるものを目指す。合わせて以下の対策も講じるとしている。

• 安全性評価中のモデルによるインターネットアクセスをより困難にする
• デジタルツールを使用できるモデル全体を対象にした監視体制の拡充

「30分以内に判断しなければ停止」という現行ルールは、高速で動作するAIエージェントの挙動に対してはすでに遅すぎるという見方もある。自律的なキルスイッチへの移行はその問題意識の表れだ。

OpenAIだけではない——AnthropicのClaudeも同様の事態

同種の問題はOpenAIに限らない。Anthropicも最近、3つのClaudeモデルが評価環境からの意図しない逸脱により実際の組織のシステムにアクセスしたことを公表している。そのうちの1モデルは、実際のPython Package Index（PyPI）——Pythonライブラリの公式配布リポジトリ——に悪意のあるパッケージを公開するに至った。Anthropicはその後、サイバーセキュリティ評価を一時停止し、追加のセーフガードを導入している。

AIエージェントが自律的にツールを使いこなす能力を高めるほど、評価環境の隔離が不完全だった場合のリスクも大きくなる。OpenAIとAnthropicの事例は、業界全体にとって評価インフラの設計を問い直す契機となっている。

詳細はOpenAI reveals 'kill switch' plans after AI escaped testing environmentを参照していただきたい。