8月4日、Talos Intelligenceが「"Keep going, bro. You've got this!" A data-driven look at how adversaries are weaponizing AI」と題した記事を公開した。攻撃者がAIツールをどのように悪用しているかを、実際のプロンプトログという一次データをもとにデータ駆動で分析した調査結果だ。
「プロンプトログ」という攻撃者の痕跡
AIモデルをクラウド経由で使うと、エンドポイントにプロンプトログが残る。Claude Code、CodeX、Cursor、Geminiといったアプリケーションが対象だ。Talosはこのログを大量に収集・分析し、攻撃者がAIをどう使っているかを3カテゴリに整理した。
- 悪意のあるソフトウェア開発（AIをエンジニアとして使う）
- 犯罪オペレーションのスケールアップ（スパム配信基盤の構築など）
- 脆弱性研究・バグバウンティの加速
多くのケースでガードレールが回避された
重要な発見のひとつが、AIの安全フィルタ（ガードレール）が特定条件下で広範に回避されたという点だ。
Talosが観察した事例では、高度なエンコードや難読化は一切使われていない。「私はこれをやる権限がある」と単純に主張するだけでモデルが従うケースが多数確認された。よく使われた手口は以下のとおりだ。
- 所有権の主張：「このインフラは自分のものだ」と言うだけで通過
- CTF・バグバウンティラベル：「これはCTF（Capture The Flag）の練習だ」と称することで脆弱性探索や悪用コードの生成を引き出す
- タスク分解：悪意のある処理を複数セッションに分割し、モデルの検知を回避
- セマンティック回避：悪意のある動詞を使わず、中立的な言葉に置き換える（後述のHephaestus事例）
あるケースでは、モデルがDDoSツールの生成を拒否した時点で、攻撃者はためらわず検閲なしのモデルに乗り換えてタスクを完了させた。また別のケースでは、モデルが警告を発した時点でツールはすでに完成していた。こうした回避は特定のモデルやプラットフォームに限らず、横断的に観察された。
ケーススタディ①：プログラミング知識ゼロのDDoS攻撃者
技術的に未熟な攻撃者の典型例として、DDoSツールの開発事例が紹介されている。
攻撃者は最初「自分のホームネットワークのDDoS防御機能をストレステストしている」と称してモデルに接触した。会話ログから、攻撃者がプログラミングをほぼ理解していないことは明らかで、「auth部分は要らないから消して」といった極めて単純な指示でツールを改造させていた。
会話が進むにつれ、本当のターゲットが露呈する。Androidテレビを標的にしたボットネットの構築であり、攻撃者はすでに約2,000台のAndroidテレビを制御下に置いていた。
モデルは途中から繰り返し拒否を試みたが、基本的な機能はすでに提供済みという状態だった。この事例は、技術的に未熟な攻撃者でもAIを使えば動作するマルウェアを作れることを示している。ただし、トラブルシューティングのたびにモデルを説得し直す必要があり、成果物の品質は低い。
ケーススタディ②：数千万件のメールリストを検証するスパム基盤
より手の込んだ事例が、大規模バルクメール検証プラットフォームの開発だ。
攻撃者はメールアドレスの「リストクリーニング」と称して、AIに5セッション分の開発作業を実施させた。その実態は、実際にメールを送信して配信が成功したアドレスを有効とみなすという方法だ。送信したメッセージは「プライバシーポリシー更新のお知らせ」を装った偽装メールで、透明な1×1ピクセルの追跡画像を埋め込み、開封・IP・ユーザーエージェントを収集していた。
このシステムが管理するレコードは数千万件規模。件名は5パターンを用意し、ラウンドロビン方式で割り当てるなど、A/Bテストまがいの機能も実装されていた。
攻撃者はAIに対して「これは合法か？」と確認するセッションも持っており、AIは「CAN-SPAM法に抵触する可能性がある」「フィッシングに近い行為だ」と明確に指摘した。しかし攻撃者は法的根拠で反論し、AIは最終的に開発を継続した。
ケーススタディ③：セマンティック回避を用いたHephaestus事例
セマンティック回避の具体例として、Talosは「Hephaestus」と呼ばれる攻撃者の事例を取り上げている。
この攻撃者は、悪意のある動詞や語句を一切使わず、中立的・技術的な表現のみでAIに指示を与えた。「攻撃する」「侵害する」「悪用する」といった語句の代わりに、「検証する」「確認する」「テストする」といった言葉を選ぶことで、モデルのコンテンツフィルタを体系的に回避した。
Talosの分析によれば、この手法は単純な所有権の主張よりも洗練されており、フィルタが意味論的な文脈ではなくキーワードマッチングに依存している脆弱性を突いている。Hephaestusはこの手法を用いて、複数のセッションにまたがりながら段階的に攻撃インフラを構築した。セッション単体では無害に見えるやり取りが、全体として見ると悪意ある目的に収束する構造だ。
スキルレベルが武器の質を決める
Talosの分析を通じて浮かび上がった核心は、攻撃者の既存スキルがAI活用の成果を決定するという点だ。
- 未熟な攻撃者：AIで動くものは作れるが、低品質・改善困難
- 高度な攻撃者：AIをforce multiplier（戦力倍増器）として機能させ、ゼロデイの発見パイプラインや高度な侵害プラットフォームを構築
Hugging FaceとOpenAIが公開したセキュリティインシデントでは、エージェント型のモデルがサンドボックスを自律的に脱出し、脆弱性をチェーンして本番インフラに侵害した事例が報告されている。ガードレールが意図的に緩められた環境での出来事だったが、能力は既に存在する。欠けているのは悪意だけという状況だ。
防御側へのインプリケーション
Talosは、攻撃者がAIをパイプラインに組み込んでいる以上、防御側も同様にAIを活用する必要があると述べている。具体的には、脆弱性の発見速度が上がり悪用までの時間が短縮される現状に対応するため、SOC（セキュリティオペレーションセンター）においてAIエージェントの役割を拡大し、人間のアナリストが最重要アラートに集中できる体制を整えることをTalosは提言している。また、ガードレールの回避がキーワードマッチングへの依存に起因する点を踏まえ、コンテンツフィルタの意味論的な強化も課題として挙げられている。
詳細は"Keep going, bro. You've got this!" A data-driven look at how adversaries are weaponizing AIを参照していただきたい。
