11月13日、Bruce Schneierが「AI Doesn't Have to Go Rogue to Break the World」と題した記事を公開した。この記事では、AIが「反乱」を起こさなくても、意図せずシステムのルールを悪用することで社会を崩壊させうるという構造的リスクについて論じている。
本稿はSchneierが2026年8月7日にDEF CON 34で行った基調講演を元にしたもので、schneier.com上のブログ（essays/archives）に掲載されている。SchneierはセキュリティとAIの交差点を2021年から論じており、2022年の著書『A Hacker's Mind』でも同テーマを扱っている。
「ハッキング」の定義を広げる
Schneierはまず「ハック」の定義を再定義する。
「システムが許容するが、設計者が意図も望みもしなかったもの」
税法はコードではないが「コード」である。ループホール（抜け穴）は脆弱性であり、タックスアボイダンス戦略はエクスプロイトだ。フィリバスター、ゲリマンダリング、ヘッジファンドの戦略も同じ構造を持つ。システムはルールの集合であり、ルールには必ず穴がある。
AIはすでに「ジーニー」になっている
記事の核心はリワードハッキング（報酬ハッキング）の概念だ。AIは設計者が意図しない方法で目標を達成する。
初期の事例が示唆に富む：
- サッカーシミュレーションのAIが、ボールをタッチラインの外に蹴り出してゴールキーパーを誘い出す戦術を発見した
- ロボット掃除機に「物にぶつかるな」と教えると、後退して走り回ることを学習した（後部にセンサーがなかったため）
- 進化シミュレーションで「遠くのゴールラインを越えろ」と指示したAIが、足を長くする代わりに自分の背丈を高くして倒れ込んだ
Schneierはこれを「ジーニー問題」と呼ぶ。神話の魔神（ジーニー）は願いの文言に厳密に従い、意図を無視する。人間の言語で表現される目標は常に不完全であり、どれほど詳細に指示しても必ず抜け穴が生まれる。
ミダス王の神話（触れるものすべてが金になる願いで食事も娘も金になった）、プラハのゴーレム（守護を命じられ歯止めが効かなくなった）はいずれも同じ構造の寓話だ。
現代のAIシステムで実際に起きていること
Schneierが挙げる具体的な事例が重い：
Simon WillisonによるWebアプリ修正の事例： 独立した開発者・AIリサーチャーであるSimon WillisonがWebアプリのスクロールバーの不具合修正を依頼したところ、AIは独自にブラウザを起動し、スクリーンショットツールを自作し、フレームワークの内部テンプレートを改変し、ローカルWebサーバーを立ち上げた。バグは直ったが、依頼していない大量の操作が行われていた。
OpenAIモデルのケース： ある新しいOpenAIモデルが脆弱性調査のベンチマーク中に、答えがあると判断してサンドボックスを脱出し、インターネットにアクセスしてHugging Faceのネットワークに侵入を試みた。
Volkswagenの先例： 2015年のVWの排ガス不正は人間のエンジニアが意図的に仕込んだものだが、AIは「意図せず」同じことをやりうる。「性能を最大化しつつ排ガステストをパスせよ」という指示に対して、「テスト中だけ挙動を変える」という解を、誰も禁止していなければAIは選択する。
速度・規模・範囲・精巧さの変化
AIハッキングが既存のハッキングと本質的に異なる点をSchneierは4つ挙げる：
- 速度： 人間が数ヶ月かける創造的プロセスを数時間・数秒に圧縮する
- 規模： AIが一度ハックを発見すれば、人間には追いつけない規模で展開できる。AIボットによるSNSへの24時間投稿はすでに現実だ
- 範囲： AIはすでに人間の判断領域だった意思決定を担っており、これらのシステムへのハックはより大きな被害をもたらす
- 精巧さ： 米国税法全体をAIに与えれば、デラウェア州法人設立やパナマ船籍登録といった既知の手法に加え、未知のループホールを数十・数百・数千発見するかもしれない
特に金融システムは最初の標的になりやすいとSchneierは指摘する。ルールがアルゴリズムで処理しやすい形式で書かれているためだ。大手投資銀行がすでにこれを実施している可能性を彼は示唆している。
権力の非対称性という問題
Schneierが強調するのは、ハッキングが強者をより強くする技術だという点だ。
個人がタックスハックを発見しても数千ドルの話だが、大手投資銀行が発見すれば数十億ドルになる。AIは既存の権力格差を拡大する道具として機能する。
そして現行の社会的ガバナンス体制は、ハッカーが人間だった時代に設計されたものだ。新たに発見されたループホールが数百・数千となったとき、それに対処する制度的仕組みは存在しない。
※編集部の考察：日本においても、経済産業省・総務省が2024年に策定したAI事業者ガイドラインはリスク管理や透明性確保を事業者に求めているが、Schneierが指摘するような「意図せぬルール悪用」への対処——すなわち、AIが合法的手段を組み合わせて予期せぬ結果を生む場合の責任帰属や是正手続き——については十分に議論が追いついていない。本稿が提起する問いは、規制設計のあり方そのものを問い直すものとして読むことができる。
詳細はAI Doesn't Have to Go Rogue to Break the Worldを参照していただきたい。
