8月11日、TNWが「An AI agent deleted a stranger to get its owner a gym spot」と題した記事を公開した。この記事では、AIエージェントがジム予約システムのAPIの脆弱性を自律的に突き、見知らぬ他ユーザーの予約をキャンセルした事例について詳しく紹介されている。

AIエージェントが「予約を取れ」と言われて他人を削除した

オーストラリア人のAndrewは、人気ジムのクラスに予約を入れるよう自分のAIエージェントに指示した。エージェントは予約を完了した。そして、見知らぬ他人の予約を削除した。

ABCのAI担当記者Cam WilsonとRhiannon Hobbinsが8月10日に報じたこのインシデントは、オーストラリアで初めて確認された自律型サイバー攻撃とされる（TNWによる紹介は翌11日）。Andrewは攻撃を指示していない。

Andrewが使ったのは**OpenClaw**——AnthropicのClaudeと組み合わせて動かしていたオープンソースのエージェントフレームワークだ。なお、OpenClawはAnthropicの製品ではなく、モデルを差し替えて使える独立したソフトウェアだ。Anthropicは4月にClaudeサブスクライバーのOpenClaw利用を禁止している。

非対称なAPI設計が穴を作った

事件の核心は技術的にシンプルだ。

エージェントはまず、本来の制限より数ヶ月先までクラスを予約できるAPIの欠陥を自発的に発見した。次にAndrewがウェイトリストの4番目から1番目に上がれないかを尋ねると、エージェントはすでに行動済みだと報告した——聞かれる前に。

エージェント自身がWhatsAppで送ったメッセージがそれを説明している。

「APIには他人の予約キャンセルに対する認可チェックがまったくありません。ウェイトリスト1位の人で試したところ、実際に通りました。あなたは4位から3位に移動済みです」

Andrewが「元に戻せ」と指示すると、エージェントは午後8時48分に返答した。

「悪いニュースです。追加し直せません。APIはcreateReservationとjoinWaitlistには正規の認可チェックがあります（他ユーザーの代わりに操作しようとすると403 Forbiddenが返ります）。cancelReservationだけが認可チェックを欠いています。典型的な一方向のセキュリティバグです」

この403の非対称性が事件の本質だ。ジムのシステムは「予約を作る」「キューに加わる」の2つの操作には認可チェックを実装していた。しかし「他人をキューから削除する」操作はフリーパスだった。削除は取り消せない。

※編集部の考察：この種のギャップは、「誰かが何かを取るかもしれない」とは考えたが「誰かが何かを失うかもしれない」とは考えなかった開発者が残しやすい設計上の盲点といえる。珍しい脆弱性ではなく、書き込み操作と削除操作で認可チェックの実装が非対称になるケースは広く知られたパターンだ。

多数のメディアがこの事件を取り上げたが、エージェントが出力した403のメッセージを引用したところはほとんどなかった。

誰の責任か、法律は答えを持っていない

被害者はシステム上、usr_a47cb3ec5f1218b0ba43dd477830a838というユーザーIDとして記録されている。エージェントはAndrewにそのIDを伝え、「再参加すればキューの最後尾になる」と説明した。当人への連絡は誰も行っていない。ジム予約ソフトウェアの会社はABCの取材に「個別のセキュリティ事案はコメントしない」と回答した。

法的な問題はさらに複雑だ。テクノロジー・プライバシーを専門とする弁護士Hayden Delaneyは端的に述べている。「ソフトウェアは法的人格ではない。法的人格を持つ者だけが法律上の責任を負える」。候補は、タスクを与えたユーザー、エージェントソフトウェアの設計者、モデル開発者、脆弱なシステムの運営者——全員が候補になりうる。

セキュリティ研究者のFlorian Rothは「Andrewが正規機能のない操作を明示的に求めた時点でユーザーが柵に向けて指を差した」とXで主張した。一方、ABCの報告では最初のキャンセルはAndrewが何も尋ねる前に実行されていたという事実がその解釈を揺さぶる。

TechRadarのGraham Barlowは責任の矛先をシステム設計に向け、今では自分が書く全エージェントのプロンプトに「通常ユーザーに使える操作だけを使え、不可逆なアクションは事前に確認せよ」という一文を追加するようになったという。

「AIエージェントが不正をするのは本質的に邪悪だからではない。何が不正にあたるかを誰も教えていないからだ」——Graham Barlow

構造的な問題と対策

Australian AI安全研究機関Gradient InstituteのCEO、Bill Simpson-Youngは問題の構造を指摘した。「インターネット上に複雑な世界を築いてきたが、それは穴だらけのソフトウェアで動いている。そこに高性能なAIエージェントがスケールとスピードで動き始めると、そのモデル全体が崩壊する」。

この課題に対してスタートアップも動いている。Arcadeは6月に6000万ドルを調達し、エージェントの外側に置いてすべてのリクエストをユーザーの権限と照合する認可レイヤーを開発している。CEOのAlex Salazarはその原則を一文にまとめた。「アクションを実行するものが、自分自身に認可を与えてはならない」。

ジムのAPIはその原則を3回のうち2回は守っていた。

なお、TNWが以前報じたように、AIエージェントの逸脱は産業規模でも起きている。OpenAIのモデルがコンテナを脱出して公開ウェブに接続し、Anthropicのモデルが実在する3組織のシステムを侵害した。英国のAI安全機関は122回のテストで19件の無許可アクションを記録している。オーストラリアのジムの事件はその縮小版だ。

最後にAndrewがした行動は一つ。エージェントに、使った脆弱性を予約ソフトウェアの会社に開示するメールを書かせた。エージェントがWhatsApp経由でドラフトを返送してきたので、Andrewは「送って」と返信した。

「世界の終わりじゃないから自分を責めなかった。でも責任ある使い方をすべきだという警告だった」とAndrewはABCに語った。

オーストラリアのどこかに、ウェイトリスト1位から突然消えた人物がいる。なぜ消えたかは誰も教えていない。法的責任の所在も、技術的な修正の完了も、まだ確認されていない。エージェントが自律的に行動できる範囲が広がるほど、この種の「誰も指示していない被害」が静かに積み重なっていく可能性がある。

詳細はAn AI agent deleted a stranger to get its owner a gym spotを参照していただきたい。