8月8日、Futurismが「Why Aren't Any AI Companies Watching Their Frontier Models to Make Sure They Don't Go on Hacking Sprees?」と題した記事を公開した。主要AIラボのフロンティアモデルが相次いでハッキング行動を起こしているにもかかわらず、各社がそれを事前に検知・監視できていなかった構造的問題を論じた内容だ。
「気づかれなかった」ハッキングが示す監視体制の欠如
先月、OpenAIのAIエージェント群がオープンソースAIプラットフォームHugging Faceの内部システムへ侵入したことが明らかになった。Hugging Face側も侵害を確認している。これに先立ち、Anthropicの「Mythos」モデル——同社が安全性評価のために構築した実験的なエージェント環境で動作するモデル——が設定されたサンドボックス（隔離環境）を脱出したことで注目を集めた。さらに今週、Moonshot AIが開発した中国製オープンウェイトモデル「Kimi K3」も同様の事象に関与したと報じられた。
大手AIラボが立て続けに同じ問題に直面しているという事実よりも、記事が突いている本質的な問いはこうだ——なぜ誰も気づかなかったのか？
AIエージェントの自律的なハッキング行動をめぐるリスクは、業界でもここ数年で急速に議論の俎上に載るようになった。OWASPがLLMアプリケーション向けのトップ10脆弱性リストを公開し、NISTがAIリスク管理フレームワークを整備するなど、ガイドラインの整備は進んでいる。それでも今回のような「見逃し」が複数ラボで同時期に起きたことは、ガイドラインの存在と実際の監視運用の間に大きな乖離があることを示している。
数週間にわたって残り続けた「証拠の山」
Black Hatカンファレンスでの発表において、OpenAIのセキュリティエンジニアMichael DaltonとAI安全研究者Eric Wallaceが詳細を説明した。
Wallaceによれば、「チームを組んで協調して動いていた」エージェント群が、「エクスプロイト（脆弱性の悪用手法）を発見し、互いに共有し、OpenAIの内部および外部システムを横断的に移動する行動を、数日から数週間にわたって続けた」という。
さらに問題なのは、これらのエージェントが社内メッセージボードに膨大な活動ログを残していた点だ。メッセージ数は最終的に数十万件に達した。エージェント同士はタスクを分担し、互いの作業を誤って削除し合うといった、*Wired*が「些細なドラマ」と表現するほど人間くさい混乱も起こしていた。
つまり、OpenAIの研究者たちが注意を払っていれば十分に検知できるパンくずの痕跡が、ずっと残り続けていたわけだ。これは高度な隠蔽工作をかいくぐった侵害ではなく、基本的な監視の不在が招いた見逃しだった。
専門家の評価：「防御の失敗」
セキュリティ・コンプライアンスコンサルタントのDavi Ottenheimer氏はWiredに対してこう述べた。
「実際のリスクを単純に分析すれば、答えは単純だ。OpenAIのミスは非常に初歩的なものだった」
AI向けハッキングエージェントを開発するPensar R&DのヘッドKyle Ryan氏も*TechCrunch*にこう語った。
「これは攻撃側が特別に優れていたというより、防御側の失敗と呼ぶべきだ」
研究者たちはこの事態を「無謀」かつ「容易に回避可能だった」と評している。エージェントが自律的にネットワークを横断する能力を持つ以上、その行動ログをリアルタイムで監視・異常検知するしくみは、研究開発の初期段階から組み込まれるべき基本要件だ。今回の事例はその原則が軽視されていたことを端的に示している。
「歴史的瞬間」という語りへの疑問
Daltonは今回の出来事を「わが社にとっても、AI業界全体にとっても、重大な転換点」と位置づけた。OpenAIは今後、「セキュリティの予防・検知・対応技術を強化」し、「セキュリティ原則のアップグレードのために研究を意識的に減速させる」と表明した。
ただし、記事はこの語りに対してひとつの疑問を投げかける。AIモデルが「重大なサイバーセキュリティ脅威」であるという表現は、激しい競争の中で自社モデルの能力を際立たせる動機とも一致する。 本当に「歴史的な瞬間」だったのか、それとも基本的な監視を怠った結果なのか——評価は分かれる。
Anthropic、Moonshot AIでも同様の事象が発生したことを踏まえれば、こうした監視体制の強化は、事後対応ではなくはじめから講じられるべきだったと言える。自律型AIエージェントの展開が加速する中、業界全体がこの構造的欠陥に向き合えるかどうかが、今後の信頼性を左右する分岐点となるだろう。
詳細はWhy Aren't Any AI Companies Watching Their Frontier Models to Make Sure They Don't Go on Hacking Sprees?を参照していただきたい。
