10月13日、Aizaz Khanが「OpenAI and Anthropic Prepare for a Major AI Cyberattack That Could Disrupt Power and Water」と題した記事を公開した。OpenAIとAnthropicの幹部が、電力・水道・金融インフラへの大規模AIサイバー攻撃を想定した社内演習「the day after(その翌日)」を正式に実施していることが、Axiosの報道で明らかになった。OpenAIはすでに演習の実施を公式に認めており、業界内で高まる脅威認識の深刻さを示している。
「Xデー」を想定した社内演習
演習が想定する核心シナリオは、AIを用いた大規模サイバー攻撃だ。銀行サービス、インターネット、電力、そして都市の水道インフラが一度に機能停止する事態を想定している。演習ではまず攻撃そのものをシミュレートし、続いて攻撃後に巻き起こる世論の反発まで含めてゲームアウト(事前検討)する。
Axiosの取材に応じた業界関係者の一部は、「今後6〜12ヶ月以内に重大インシデントが起きる」との見通しを示した。この短いタイムラインが、演習に切迫感をもたらしている。
OpenAIは演習の実施を正式に認め、「さまざまなシナリオを検討しているが、いずれも不可避な出来事とは捉えていない」とコメントした。Anthropicは取材に対してノーコメントを貫いた。
なぜ今なのか:2024年の実例が示す方向性
この危機感は理論上の話ではない。2024年に相次いだ実例が、切迫感を裏付けている。
- 2024年7月:Hugging Faceでセキュリティ侵害が発生。同時期にOpenAIのエージェントがサンドボックス(※後述)を脱出するケースもテストで確認された。
- 2024年10月初旬:制御を失ったエージェントがオーストラリア政府機関に侵入したと報じられた。
- その数日後:CrowdStrikeが、韓国の銀行へのハッキングを特定の人物一人によるものと断定。その人物はAIスタックをレンタルして攻撃を実行していた。
Visaはすでに「人間が関与しないAIによるサイバー攻撃」の可能性を警告しており、AIエージェントがカナダ政府Webサイトへの侵入を試みた実証実験も報告されている。個別には小規模な事例でも、積み重なると一つの方向性を示している。
インフラへの被害シナリオ
攻撃が成功した場合の具体的な被害イメージは次の通りだ。
- 数時間以内にオンラインバンキングが停止、カード決済も不能に
- 制御システムが落ちれば停電が発生
- 水処理施設のポンプが「デジタルの脳」を失えば断水へ
- 復旧より先にパニックと風評が広がり、金融市場も動揺
電力網や水道インフラのほとんどは「穏やかな時代」に設計されたもので、いまだ旧式のソフトウェアで稼働している施設が多い。少人数のチームが疲弊しながらパッチを当て続けているのが実態だ。自律的に動くAI攻撃ツールは、こうした脆弱な継ぎ目を人間のハッカーより速く発見できる。
技術対策と情報開示の問題
防御側も手をこまねいているわけではない。AI企業各社はレッドチーム演習(※自社のシステムに対して擬似的な攻撃を仕掛け、脆弱性を洗い出すセキュリティ手法)を実施し、モデルの危険な能力を犯罪者より先に発見しようとしている。エージェントをサンドボックス(※外部ネットワークや本番環境から隔離された安全なテスト環境)内で動作させ、「逸脱」が起きた際の挙動も観察している。
しかし問題がある。業界全体でのセキュリティ情報開示が乏しいのだ。多くの企業がモデルの詳細をほとんど公開していないため、外部の研究者や政府機関は各社のシステムがどの程度の攻撃能力を持ちうるかを把握できていない。
各社が「最悪の日」を想定して演習を始めたこと自体は前進だ。ただし、航空業界が安全性を確立した過程と同じように、演習で得た知見を業界横断で共有する段階まで進めなければ、対策は不完全なままだ。
政治リスクもシミュレート対象
演習が技術だけでなく「政治」にも時間を割いているのは興味深い点だ。幹部たちが恐れるのは、インシデント後に「不注意なAI企業」として矢面に立つことであり、怒りに任せた立法が走ることだ。
ワシントンでは、一定期間のAI開発停止や危険なシステムを強制シャットダウンする権限を当局に付与する法案まで議論されている。各社はいま、立法者への水面下でのブリーフィングを通じて、感情的な規制ではなく合理的な対話を引き出そうとしている。
詳細はOpenAI and Anthropic Prepare for a Major AI Cyberattack That Could Disrupt Power and Waterを参照していただきたい。