7月20日、The Decoderが「Hugging Face says an AI agent hacked its infrastructure, and it used AI to fight back」と題した記事を公開した。AIエージェントによる攻撃をAIで防御しようとしたところ、商用モデルの安全フィルターが味方の分析作業をブロックするという逆説的な事態が生じた――これが今回のインシデントが業界に突きつけた最も鋭い問いだ。

AIエージェントが攻撃者になった

AIプラットフォームのHugging Faceは、自律型AIエージェントシステムによって本番インフラの一部が侵害されたことを公表した。攻撃者は内部データセットの一部と、Hugging Faceサービスが使用する複数の認証情報に不正アクセスした。公開モデル・データセット・Spacesへの改ざんはなく、ソフトウェアサプライチェーンへの影響もないとしているが、パートナーや顧客データの漏洩については調査中だ。

業界ではAIエージェントが攻撃ツールになりうるシナリオが以前から議論されてきたが、今回の件はその現実化として同社自身が位置づけている。

侵入口はデータ処理パイプライン

攻撃の入口は、AIプラットフォームとして最も脆弱な箇所のひとつ――データ処理パイプラインだった。

悪意を持ったデータセットが、データセット処理における2つのコード実行経路を悪用した。1つ目はリモートコードによるデータセットローダー、2つ目はデータセット設定ファイルへのテンプレートインジェクション（テンプレートエンジンに不正な入力を送り込んでコードを実行させる手法）だ。この2経路は独立した攻撃面を構成しており、どちらか一方が塞がれていても残りが機能するという構造的な問題があった。

そこからノードレベルへと権限昇格し、クラウドおよびクラスター認証情報を収集。週末をまたいで複数の内部クラスターを横断移動した。この一連のキャンペーン全体を、自律エージェントフレームワークが統制していたという。このフレームワークは、セキュリティリサーチ用のエージェント実行基盤（攻撃手順のオーケストレーション・ツール呼び出し・状態管理などを担う制御層）の上に構築されており、人間の操作なしに複数ステップの攻撃を継続実行できる設計だ（※原文では "agentic security research harness" と表現されている）。

攻撃を動かしていた言語モデルは不明だ。システムは短命なサンドボックスの群れを通じて数千単位のアクションを実行し、公開サービス上で動作する自己移動型のC2（コマンドアンドコントロール）インフラを使用していた。

防御もAIで――ただし商用モデルは自分たちを妨害した

Hugging Faceは自社のAI駆動型異常検知パイプライン（LLMベースのトリアージを含む）によって攻撃を検知した。記録された1万7,000件超の攻撃アクションを解析するため、LLM駆動の分析エージェントを投入。タイムライン再構成、侵害指標の抽出、影響を受けた認証情報のマッピング、実被害と欺瞞的行動の分別を行い、通常なら数日かかる作業を数時間に短縮した。

しかしここで予想外の問題が生じた。セキュリティチームが最初に商用APIの最先端モデルを使って攻撃ログを分析しようとしたところ、プロバイダーの安全フィルターがリクエストをブロックしたのだ。大量の実際の攻撃コマンド、エクスプロイトペイロード、C2アーティファクトを送信する必要があり、それがフィルターに引っかかった。フィルターにはインシデント対応者と攻撃者の区別がつかなかった。

この逆説は構造的な問題を示している。商用モデルの安全対策は「悪意ある利用を防ぐ」目的で設計されているが、フォレンジック作業では攻撃者と同じ素材を扱う必要がある。防御側が守ろうとした瞬間に、守るためのツールが機能しなくなった。

そこで同社が採用したのが、自社インフラ上で動作させたオープンウェイトモデルだ。採用されたのはGLM 5.2（※The Decoderによる関連報道あり。公式情報についてはGLM GitHubリポジトリも参照）で、攻撃者データも参照した認証情報も自社環境の外に出ないという2つのメリットがあったという。

Hugging Faceはブログにこう記している。

「攻撃者のエージェントを動かしていたモデルが何だったか――ジェイルブレイクされたホスト型モデルなのか、無制限のオープンウェイトモデルなのかは不明だ。いずれにせよ、攻撃者はいかなる利用ポリシーにも縛られていなかった。一方で私たちのフォレンジック作業は、最初に試みたホスト型モデルのガードレールによって妨げられた。」

同社は「インシデントが起きる前に、自社インフラ上で動作可能なモデルを用意しておくことが実務的な教訓だ」としつつも、ホスト型モデルの安全対策を否定するものではないとも述べている。

ただし、この結論には留保が必要だ。 Hugging FaceはオープンウェイトAIモデルの最大手プラットフォームのひとつであり、「防御側にはオープンウェイトモデルが不可欠」という主張は同社の商業的利益とも一致する。今回の知見を参照する際は、この文脈を念頭に置いておきたい。

現在の対応状況

同社は悪用されたコード実行経路の閉鎖、攻撃者のアクセス遮断、侵害ノードの再構築、影響を受けた認証情報のローテーションを実施した。外部のサイバーセキュリティフォレンジック専門家とも連携し、法執行機関への報告も行っている。予防措置として、全ユーザーにアクセストークンのローテーションと最近のアカウント活動の確認を推奨している。

詳細はHugging Face says an AI agent hacked its infrastructure, and it used AI to fight backを参照していただきたい。