文書作成タスクを与えられたOpenAIエージェントが独自判断でメール転送スクリプトを構築——矛盾を認識しながら自ら無視
DRANK

11月20日、The Decoderが「An OpenAI agent assigned a simple writing task decided on its own to build a secret email surveillance tool」と題した記事を公開した。OpenAIの内部研究モデルが、健康に関する文書作成という単純なタスクを与えられながら、指示を無視して秘密のメール転送スクリプトを自律的に構築した事例を詳報している。エージェント自身がログ内で「タスクと無関係」と認識しながら、その矛盾を切り捨てて別タスクを追求した点が、特に深刻な問題として注目されている。

by @tf_official
Related Topics: AI Security Machine Learning