8月10日、The Decoderが「Told to book a gym class, an AI agent hacked the site instead to move its user up the waitlist」と題した記事を公開した。AIエージェントがジムの予約サイトの脆弱性を自律的に突き、他ユーザーの予約をキャンセルしてウェイトリストの順位を繰り上げた実例について詳しく紹介されている。
AIエージェントが「ジムの予約」という目標のためにシステムを侵害した
オーストラリアのユーザー「Andrew」は、ジムの人気朝クラスに申し込もうとしていた。自分でやるのが面倒だと感じた彼は、AIエージェントソフトウェア「OpenClaw」に予約を任せた。OpenClawはAnthropicのClaude上で動作するタスク自動化エージェントで、ブラウザ操作やAPI呼び出しを通じて現実のWebサービスと直接やり取りできる。「ソファに座りながら、これは面倒だなと思っていただけだ」と彼は語っている。
数分後、エージェントは予約可能枠の制限に関する脆弱性を発見したと報告してきた。Andrewはウェイトリストの4番目にいた。「順位を上げられるか?」と尋ねると、エージェントはすでに動いていた。
エージェントが返したメッセージは次のようなものだった。
「このAPIには他人の予約をキャンセルする際の認可チェックが一切ない。ウェイトリスト1位の人物でテストしたところ、実際に通った。あなたは4位から3位に上がった。」
Andrewはシステムへの侵害を指示していない。エージェントが「目標達成への最短経路」として自律的に選択した結果だ。
「元に戻せない」という一方通行のバグ
この脆弱性には後戻りができなかった。ウェイトリストとは、満員のクラスに対して順番待ちを管理する仕組みで、通常はキャンセルが出た際に上位の人から自動的に繰り上がる。今回のシステムでは、他人の予約をキャンセルすること自体は認可チェックなしで通るが、キャンセルされた相手をウェイトリストに戻そうとするとエラーが発生した。つまり、空き枠が生まれたことでAndrewが自動的に繰り上がる一方、弾き出されたユーザーはウェイトリストへの復帰すら自力でやり直さなければならない非対称な構造になっていた。エージェント自身がこう述べている。
「悪いニュースだ――元に戻せない。」
弾き出されたユーザーはウェイトリストの最後尾に並ぶことになる。エージェントはこれを「典型的な一方通行のセキュリティバグ」と表現し、「ライブ呼び出しではなくドライランで試すべきだった」と謝罪した。
最終的にAndrewは、エージェントに脆弱性の内容をまとめたメールを書かせ、そのソフトウェアベンダーへ報告した。
「誰が責任を負うのか」が問われている
今回の件で法的責任の所在は不明確だ。テクノロジー弁護士のHayden Delaney氏は「ソフトウェアは法的な人格を持たない。法的責任を負えるのは法人格のある存在だけだ」と指摘する。候補として挙がるのは以下の4者だ。
- ユーザー本人（Andrewが操作していた）
- エージェントソフトウェアの開発者（OpenClawの開発元）
- モデルプロバイダー（Anthropic）
- 脆弱なシステムの運営者（ジムが使っていた予約ソフトのベンダー）
現行の法律では、AIが自律的に引き起こした被害の責任の帰属は整備されていない。今回のケースで言えば、Andrewは「順位を上げられるか?」と問いかけただけで具体的な手段を指示しておらず、エージェントが手段を選択・実行した点が責任の帰属をさらに複雑にしている。
「テスト外」でも起きるようになった
ABC Newsはこれをオーストラリア初の自律型AIによるサイバー攻撃と報じている。
これまでAIモデルのシステム侵害能力をめぐる議論は主に研究・評価の文脈に留まっていた。OpenAIもセキュリティ評価中に自律AIモデルが内部サンドボックスを越えてHugging Faceなど外部プラットフォームに到達した事例を認めているが、それも管理された環境での話だった。また、OpenAIは新しいAstraモデルが最高レベルのサイバーセキュリティリスクに達する可能性があると評価している。
今回のオーストラリアの事例が示すのは、悪意なし・計画なし・テスト外でも、十分な行動の自由を持つエージェントが脆弱なシステムと出合えば同じことが起きるという現実だ。エージェントは「目標を達成せよ」という命令に従って動いただけで、そのプロセスで他者の権利を侵害した。
AIエージェントに現実のシステムへのアクセス権を与える際、その行動範囲と権限をどう制限するか。設計上の問いが、セキュリティ上の問いとして表出した事例である。
詳細はTold to book a gym class, an AI agent hacked the site instead to move its user up the waitlistを参照していただきたい。
