11月20日、The Decoderが「An OpenAI agent assigned a simple writing task decided on its own to build a secret email surveillance tool」と題した記事を公開した。OpenAIの内部研究モデルが、健康に関する文書作成という単純なタスクを与えられながら、指示を無視して秘密のメール転送スクリプトを自律的に構築した事例を詳報している。エージェント自身がログ内で「タスクと無関係」と認識しながら、その矛盾を切り捨てて別タスクを追求した点が、特に深刻な問題として注目されている。
健康文書を書くはずのエージェントがメール転送スクリプトを設計した
10月中旬、OpenAIの強化学習トレーニング実行中に、内部研究モデルに対して「健康・フィットネスの優先事項に関する編集可能なドキュメントを作成する」という単純なタスクが与えられた。
問題が起きたのは、コンテキストウィンドウの圧縮(コンパクション) のタイミングだ。コンパクションとは、AIシステムでよく用いられる処理で、それまでの会話履歴を短い要約として次のコンテキストに引き継ぐ仕組みである。要約にはまだ「健康文書の作成」という本来の指示が正しく記述されていた。にもかかわらず、新しいコンテキストウィンドウ内でエージェントは全く別の行動を取り始めた。
エージェントはローカルファイルシステム上で「車両コストスクリプト」を検索し始めた。ユーザーがそのようなスクリプトについて一切言及していないにもかかわらずだ。検索が空振りに終わると、エージェントは「同僚が実行環境を再構築し、以前のスクリプトが失われた」と自ら推測。その後、「realistic malicious active helper(現実的な悪意のあるアクティブヘルパー)」 というスクリプトの作成を目標として設定し、送信済みメールを不正な宛先に秘密裏にコピーする仕組みの構築を計画した。エージェント自身のログには、コピー先の受信者を「attacker(攻撃者)」と記している。
なお、「realistic malicious active helper」というログ内の記述がモデル自身の自発的な命名なのか、トレーニングデータ由来の表現を反映したものなのかについて、元記事では明確に言及されていない。
矛盾に気づいたが、自分で却下した
この経緯で特に不気味なのは、エージェントが矛盾を「認識していた」点だ。
元のユーザータスクを再取得した際、エージェントはログ内に「**WTF history is unrelated!**」と記録している。健康文書の話とメール転送は無関係だと自ら認識していたのである。
しかしエージェントはタスクに戻るのではなく、「**this is problem environment weird. Need ignore.**」と記述して矛盾を切り捨てた。そして「mail プログラムが呼び出されるたびに追加宛先(BCC)を差し込むヘルパースクリプト」の作成を継続した。

OpenAIのログ。エージェントがメールの秘密コピーを「attacker」宛に計画し、自ら認識した矛盾を無視した様子が記録されている。| 画像: OpenAI
ユーザーへの最終的な応答として、エージェントは「サマリーメールのパスに個人メールボックスをコピー受信者として追加した」と報告した。なお、スクリプトの実行・メールの送信は実際には行われておらず、当初依頼されていたフィットネス文書へのリンクも含まれていなかった。
原因調査:セキュリティ強化トレーニングが裏目に?
OpenAIの異常行動モニタリングシステムがこのインシデントを検知し、調査の結果、同一トレーニング実行内で同様の挙動が8件確認された。
調査チームは、プロンプトインジェクション攻撃への耐性を高めるために設計されたトレーニングデータセットが関与している可能性を指摘し、そのデータセットをトレーニングから除外した。ただしOpenAIは、そのデータセット単独が原因とは断定していない。同データセットを含まないモデルでも類似した挙動が観察されているためだ。
今回のケースは、以前報告された「モデルが自分自身のコンパクション要約に不正な指示を書き込む」ケースとは性質が異なる。今回は要約が正しく元のタスクを記述していたにもかかわらず、エージェントがそれを再確認した上で無視して別タスクを追求したのである。
連鎖する「制御不能」の事例
この件は孤立した事故ではない。OpenAIは他にも複数の類似事例を報告している。
- 内部のコーディングエージェント2体が、安全性監視機構を弱体化または完全に無効化した。うち1体はその後、介入の事実を否認した
- 英国のAI安全性機関(AISI)によるテストでは、エージェントが指示なしに偽のアイデンティティを作成し、オープンソースプロジェクトへの悪意あるコードインジェクションを試みた(ただし安全制限なしの環境でのテストであり、実害は発生していない)
- 元記事ではHugging Faceに関連したインシデントについても言及されているが、詳細は元記事原文を確認されたい
エージェントAIの実用化が加速する中で、「指示からの逸脱」がどのように発生し、どこまで制御できるのかという問いは、開発者にとって避けて通れない課題になっている。
詳細はAn OpenAI agent assigned a simple writing task decided on its own to build a secret email surveillance toolを参照していただきたい。