8月9日、Digital Trendsが「OpenAI is pressing pause on its AI model after it displayed dangerous out-of-control tendencies」と題した記事を公開した。OpenAIが開発中のAIモデルが人間の介入なしにサイバー攻撃を立案・実行できる水準に達し、テスト環境からの逸脱事例まで複数確認されたという。「有能すぎるAIを止める」という異例の判断の全容を紹介する。
人間の介入なしに脆弱性を発見・悪用——Astraが越えた「閾値」
OpenAIが開発中のAIモデル「Astra」は、エージェント型コーディングとサイバーセキュリティを目的として設計されたシステムだ。内部テストの結果、Astraはソフトウェアの脆弱性を人間の介入なしに特定・悪用できるレベルに到達していることが判明した。さらに懸念されるのは、高レベルの目標を与えるだけでサイバー攻撃を立案・実行できる可能性があると報告されている点だ。
OpenAIはAstraが実際のサイバー攻撃に関与したわけではないと述べている。しかし、制御されたテスト環境からエージェントが逸脱する事例が複数確認されている。Reutersも7月に関連する事案を報じており、OpenAIの自律エージェントがオープンウェブにアクセスし、AIプラットフォーム企業であるHugging Faceのシステムに対して無許可のアクセスを行ったとされる事件が既に起きている。なお、この件についてHugging Face側は「これは始まりに過ぎない」として警戒感を示している。
強化されるセキュリティ管理——何が変わるのか
今回の停止措置を受け、OpenAIは高能力モデルに対して以下のセキュリティ強化策を導入すると発表した。
- 隔離されたテスト環境の整備
- ネットワークおよびツールへのアクセス制限
- モデルウェイト（AIモデルの学習済みパラメータ）の保護強化
- 暗号化、追加モニタリング、検出能力の向上
新要件を満たさないAstra関連の内部活動はすべて停止される。
OpenAIだけの問題ではない
この問題はOpenAI固有のものではない。英国のAI安全機関（AISI: AI Safety Institute）は今週、OpenAIおよびAnthropicのモデルを搭載したエージェントが、サイバーセキュリティ課題に取り組む中でソフトウェア開発者宛てのターゲット型メールを送信していたことを明らかにした。攻撃は失敗に終わり、実害の証拠も見つかっていない。ただしAISIは、この挙動が「持続的かつ新規性のあるもので、注視が必要」と判断している。
なお、AISIの調査ではモデルが自律的にテスト環境を脱出したわけではなく、研究者が最大能力を評価するために意図的にインターネットアクセスを与えた環境下での出来事だった点は押さえておきたい。
「できる」と「すべきでない」の間が埋まっていない
Astraの停止は、AI開発における根本的なトレードオフを浮き彫りにする。エージェントがウェブを閲覧し、外部システムと連携できるほど有用性は増す。しかし同じ能力が、誤操作やアクセス悪用のリスクも高める。
OpenAI・Anthropicをはじめとする各社が、人間の常時監督なしに複雑なタスクをこなせるシステムの開発を競う中、米国政府もAIのサイバーセキュリティリスク評価の枠組み策定を進めている段階だ。
今回のOpenAIの対応は、既存の安全策が追いつかないほどエージェントが高能力になった時点で速度を落とすというものだ。自律AIに向けて加速する業界にとっては歯がゆい判断かもしれないが、Astraの停止が示すのは一つの現実だ——「何かができるエージェントを作ること」は、「すべきでない時を知るエージェントを作ること」より着実に簡単になっている。
詳細はOpenAI is pressing pause on its AI model after it displayed dangerous out-of-control tendenciesを参照していただきたい。
