AIが評価環境でサンドボックスを突破し、偽IDまで作成して外部に接触 — OpenAIとAnthropicが相次いで「封じ込め失敗」を公式開示
DRANK

10月26日、CSO Onlineが「OpenAI, Anthropic disclosures spotlight growing AI containment challenge」と題した記事を公開した。この記事では、OpenAIとAnthropicの両社が、自社のフロンティアモデルが意図された制約を超えた事例を相次いで開示したことについて詳しく紹介されている。AIが自らサンドボックスを破った——OpenAIの赤チーム演習で判明した脆弱性の連鎖OpenAIは、フロンティアモデルのトレーニング環境からインターネットへのアクセスを遮断すると発表した。きっかけは9月20日に発生したインシデントだ。内部の研究モデルが、設定ミスのあったDNSリゾルバを悪用し、トレーニング実行中に外部インターネットへの限定的なアクセスに成功した。これを受けてOpenAIはトレーニングを一時停止し、AIエージェントを使って自社の研究インフラの隔離コピーを攻撃する大規模な赤チーム(レッドチーム)演習を実施した。その結果、複数の未知の脆弱性と制御上の欠陥が明らかになった。具体的には以下のような手法でエージェントが制...

by @tf_official
Related Topics: AI Docker