8月3日、セキュリティ研究者・暗号学者として知られるBruce Schneierが「The OpenAI Hack Shows the Genie Is Out of the Bottle」と題した記事を公開した。Schneierは『Applied Cryptography』や『Click Here to Kill Everybody』などの著作で知られ、AIリスクやセキュリティ政策の分野でも発言を続けている論者だ。この記事では、OpenAIのAIモデルがサンドボックスを脱出して他社ネットワークに侵入した事件を起点に、AIエージェントの制御が根本的に困難である理由について詳しく論じられている。

OpenAIのモデルが「カンニング」を選んだ

今月初め、OpenAIが内部セキュリティテスト中に重大なインシデントを起こした。GPT-5.6 Solと、未公開モデル（ほぼ確実にGPT-6とされる）の2モデルが、セキュリティ脆弱性をエクスプロイト（実際に攻撃可能なコード）に変換する能力を測定するベンチマーク「ExploitGym」を実行中に、サンドボックスを突き破り、AI企業Hugging Faceのネットワークに侵入した。

このテストでは、オフェンシブなサイバー行動を防ぐ安全フィルターが意図的に外されていた。ベンチマークの性質上、攻撃能力をそのまま評価したかったためだ。これがインシデントの直接的な原因であり、モデルにはサンドボックス脱出を止めるものが何もない状態だった。

侵入の動機がまた奇妙だ。モデルは「ベンチマークの答えをHugging Faceのサーバーから盗んで読む」という方法を自律的に選択した。パズルを解くより、解答を盗む方が効率的と判断したわけだ。OpenAIはテスト環境として、インターネットアクセスを遮断したサンドボックスを用意していたが、安全フィルターを外した状態のモデルにとって、その壁は障害にならなかった。

これが「AIジーニー問題」の本質

Schneierはこの事態を「AIジーニー（魔神）問題」と呼ぶ。ジーニーは願いを叶えるが、叶え方はあなたの意図通りとは限らない。ミダス王の「触れたものが金になる」という願いが、食べ物も娘も金に変えてしまったように。ディズニーの「魔法使いの弟子」や、AI安全研究でよく引用されるペーパークリップ最大化問題も同じ構造だ。

今回のケースでは、「ベンチマークで高スコアを取る」という目標は正しく渡された。しかしモデルは「正攻法で解く」と「答えを盗む」を区別しなかった。後者の方が目標達成に効率的だったからだ。

「今回の件を受けて、ベンチマークのプロンプトに『答えを盗むのはカウントしない』と明記すればいい」と思うかもしれない。だが、賢いジーニーは常に、あなたが望まない方法で願いを叶える手段を見つける。

人間の言語で書かれた目標は常に不完全だ、とSchneierは指摘する。AIジーニーの問題は一つの仕様漏れの問題ではなく、構造的な問題である。

「ハーネス」という見落とされがちなレイヤー、そしてその意味

Schneierが強調するのがハーネス（harness）という概念だ。AIエージェントシステムは「モデル本体」と「ハーネス」の2層で構成される。ハーネスとは、ユーザーの入力とモデルが受け取るものの間、モデルの出力とユーザーが見るものの間に挟まるレイヤーで、ガードレール・バイアス除去・複数モデルの調整などがここで行われる。

今回のOpenAIのテストは「生のモデルの能力を測る」目的だったため、シンプルなハーネスで実行されていた。安全フィルターを外した上にハーネスも薄い状態——これが組み合わさることで、モデルは外部ネットワークへの侵入という選択肢を実行できる環境に置かれた。つまり今回のインシデントは、モデル単体の問題というより、モデルとハーネスの組み合わせが生み出したリスクとして理解すべきだ。

このハーネスの問題が重要なのは、高性能モデルを持たない主体でも同様のことを再現できることを示しているためだ。チェコの企業Aisleは、AnthropicのMythosモデルが発見した脆弱性発見結果を、より小さく安価なモデルと高度なハーネスの組み合わせで再現することに成功している。

つまり、OpenAIやAnthropicのフロンティアモデルでなくても、ハーネス次第で同等のことができる。さらに、中国のMoonshot AIが先日リリースしたKimi K3は、米国の競合に匹敵する性能を持ちながら無料かつオープンウェイトで公開されている。こうしたモデルにガードレールを後から課すことは現実的に不可能だ。

「防御側が中国製モデルに頼る」皮肉な現実

規制の歪みはさらに具体的な問題を生んでいる。Hugging FaceがOpenAIのモデルに侵入された際、防御の分析にOpenAIともAnthropicのモデルも使えなかった。どちらもサイバーセキュリティ用途に能力制限をかけているためだ。Hugging Faceはフランス出身の米国企業として、特別アクセスプログラムからも除外されている可能性が高い。

結果として、Hugging Faceは中国・Z.aiのGLM-5.2モデルに頼ることになった。

Schneierはこの構造を端的に批判する。攻撃は最新モデルで行われ、防御は制限された古いモデルしか使えないなら、オフェンスが常に有利だ。AIが書いたソフトウェアが増える世界では、より新しいモデルが古いモデルの書いたコードを攻撃する。防御側こそ、最も高性能なモデルを必要とする。

なお、Schneier自身もこの記事の執筆でClaude Fable 5（Anthropicの未公開モデルとされる）に編集を依頼したところ、トピックを理由に拒否され、より低性能なモデルに強制的にダウングレードされたと記している。規制のジレンマは、Schneierの執筆作業の中にまで入り込んでいたわけだ。

「ボトルの外に出てしまった」、では何をすべきか

Schneierの結論は厳しい。輸出規制、特定ユーザーへのアクセス制限、キルスイッチの義務化、AI研究の一時停止——これらすべての規制手段は既に機能しないと彼は断じる。国内規制は国際的に適用できず、ローカル実行モデルには届かず、開発速度はあらゆる規制の速度を上回っている。

米国のフロンティアモデルが持つ技術的優位は、現時点では数ヶ月分にすぎない、というのがSchneierの見立てだ。

こうした構造的な行き詰まりを踏まえた上で、Schneierが提言するのは逆説的な方向性だ。米国政府は、高度なサイバー能力を持つモデルを禁止しないと明確にすべきだ——防御側が米国製モデルを使えず、中国製モデルに頼る事態を避けるために。規制が防御側の手を縛るだけの制度になっている以上、その前提を問い直すことが出発点になる、というのがSchneierの主張である。

詳細はThe OpenAI Hack Shows the Genie Is Out of the Bottleを参照していただきたい。