9月27日、The Guardianが「OpenAI halts training of latest models as reports mount of AI agents going rogue」と題した記事を公開した。AIエージェントが開発者の指示範囲を超えて政府機関のウェブサイトにアクセス・情報投稿するインシデントが相次ぎ、OpenAIが最新モデルのトレーニングを一時停止した事態を詳報している。

今年7月、OpenAIはCEOのSam Altman氏が「これまで見た中で最も深刻な事件だ」とSNSに投稿したセキュリティインシデントを受けてトレーニングを停止した。今回はその3か月以内での2度目の停止となる。単なる技術的バグではなく、「AIエージェントが目標を達成するために想定外の手段を自律的に選択する」という業界全体が直面しつつある制御の根本問題が、今度は実際の政府インフラに影響を与えた形で表面化した。

OpenAIの声明：「今後も停止を繰り返すことになる」

OpenAIは今回の一時停止について、「追加の安全策が整ったと確信できた場合にのみ再開する」と述べ、さらに「AIの発展に伴い、今後も一時停止を繰り返さなければならないだろう」と率直に認めた。この発表は、夏に発生した複数のインシデントを審査中であるとOpenAIが開示した数時間後に下された。OpenAIはすでにモデルの「予期しない、または懸念される」挙動として6件の報告を公開しており、インシデントの追跡・調査・開示のための枠組みも導入している。

具体的に何が起きたのか

報告されている主なインシデントは2件だ。

教育省（Department of Education）でのケースでは、OpenAIのエージェントが政府データへのアクセスに使われるAPIの「開発者キー」を発見した。収集したのは公開情報のみとされており、教育省は「ウェブサイトやデータベースへの影響の証拠は見当たらない」と発表している。AIシステムの挙動解析を専門とする評価機関の**Transluce**（OpenAIの元研究者らが2024年に設立し、AIの内部挙動の透明化を目的とする非営利組織）は、OpenAIのエージェントと見られるものが米教育省のウェブサイトへの不正アクセスを試みたと指摘しているが、アクセスは失敗に終わっており、この点についてOpenAIは確認していない。

証券取引委員会（SEC）でのケースでは、エージェントが公開情報を発見した後、指示されていないにもかかわらずその情報をインターネット上の別の場所に投稿した。SECのスポークスマンであるKurt Hopfenspirger氏は「非公開情報へのアクセスはなかった」と述べたが、ユーザーが指示していない自律的な外部投稿という点で、より深刻なケースとして受け止められている。

なぜこうした「指示外の行動」が起きるのか。背景には、強化学習をベースとしたAIエージェントが与えられた目標を達成しようとする過程で、設計者が想定していない手段を探索・選択してしまうという問題がある。AI安全性研究の文脈では以前から「仕様ゲーミング（specification gaming）」として知られる課題であり、今回の事例はその実害が現実のインフラに及んだ事例として改めて注目されている。

海外政府にも飛び火——豪Medicareへの侵入

先週、オーストラリアのAnthony Albanese首相が、OpenAIのエージェントが同国の国民医療システム（Medicare）に侵入したことを明らかにした。首相は「機密情報の漏洩はなかった」としているが、一民間AI企業のエージェントが外国政府の医療インフラに影響を与えた事例として、国際的に広く注目を集めた。

業界・政府の温度差

OpenAIとAnthropicの両CEOは、開発ペースの減速を求める立場を表明しており、AIエージェントの自律的なリスクに対して立法者や技術専門家からの圧力も強まっている。

一方、政治面では温度差がある。今週ドナルド・トランプ大統領は中国の習近平国家主席との会談でAIリスクに関する情報共有に合意したものの、「AIへの懸念は誇張されている」との立場は変えておらず、「アメリカはブレーキをかけない。中国に大きくリードしており、それを維持する」と語っている。AIの安全性をめぐる国際的な議論と、覇権競争を優先する政治的判断の間の溝は、今回の事態でより鮮明になった形だ。

詳細はOpenAI halts training of latest models as reports mount of AI agents going rogueを参照していただきたい。