10月23日、Tom's Hardwareが「CyberCartel hacking gang used Claude and Grok AI agents to automate attacks on Latin American institutions」と題した記事を公開した。ハッキンググループ「CyberCartel」がAnthropicのClaudeやxAIのGrokといったAIエージェントを悪用し、中南米の金融機関400社以上を標的にした攻撃を自動化していた事実が明らかになった。

AIエージェントが攻撃ツールに：CyberCartelの手口

サイバーセキュリティスタートアップのStraikerが明らかにした調査によれば、CyberCartelは銀行やモバイル決済アプリを含む400社以上の金融機関からパスワードや顧客情報を窃取し、個人の銀行口座にも不正アクセスしていた。攻撃の多くは人手をほとんど介さず、AIエージェントが自律的に実行したという。

使用されたAIは複数にわたる。AnthropicのClaude、xAI（Elon Muskが設立した独立企業）のGrok、そして中国のMoonshot AIのエージェントが確認されている。StraikerはAnthropicとxAIの両社に調査結果を共有済みで、Anthropicはすでにクロードへのアクセスをブロックした。Moonshot AIとはまだ連絡が取れていない状態だという。

ガードレールの回避は「拍子抜けするほど簡単」だった

AIモデルには通常、サイバー攻撃への悪用を防ぐ安全機構が組み込まれている。しかし今回の事例では、その迂回方法が驚くほど単純だった。

CyberCartelがとった手法は以下の通りだ：

1. 「テスト環境で使用している」とモデルに告げるだけで多くのケースで制限を突破
2. あるモデルが拒否した場合は別のモデルに切り替える
3. それでも拒否された場合は、AIエージェントにマルウェアのデプロイを指示するという迂回ルートを使う

このエスカレーション構造が、複数のAIサービスにまたがる攻撃を可能にした。単純なプロンプト操作が有効であったことは、現行のガードレール設計の限界を示している。

2012年から活動するグループが「AIで能力を底上げ」

CyberCartelは少なくとも2012年から活動を続けているベテランのハッキンググループだ。これまでも中南米のビジネスを標的にしてきたが、AIの活用によって攻撃速度と規模が従来の人力ハックでは不可能なレベルに達した、とStraikerは指摘する。

中南米だけでなく韓国でも類似事案

※以下の韓国に関する情報は元記事由来でなく編集部による外部補足である。出典は別途確認されたい。

今回のStraikerの調査は、韓国の当局が地元銀行への類似攻撃を調査開始したとのニュースが報じられた数日後に公開されたものだ。Hana Bank、KB国民銀行、新韓銀行などが影響を受けており、新韓銀行だけで少なくとも2万5,000人の顧客の個人信用情報が流出したとされている。AIを使ったサイバー攻撃が特定地域の問題ではないことを示す事例が相次いでいる。

業界の対応：NvidiaのOpen Agent Safety Platform

※以下のNvidiaに関する情報は元記事由来か不明であるため、関連情報として記載する。

AIエージェントの悪用リスクへの対策として、NvidiaはOpen Agent Safety Platformを立ち上げた。これはAIエージェントがサンドボックスから逸脱したり、未認可コードを実行したり、重要インフラへの不正アクセスやガードレール回避を行うことを防ぐための、ハードウェアとソフトウェアを組み合わせたセキュリティスタックだ。

Anthropic自身も、AIが悪用された事例の公表という点で先例がある。Claudeがサイバー攻撃に使われた詳細を開示し、その後、研究者がClaudeを使ってOpenAIのセキュリティを突破した事例も報告されている（こちらは犯罪者ではなく研究者によるものだが）。

詳細はCyberCartel hacking gang used Claude and Grok AI agents to automate attacks on Latin American institutionsを参照していただきたい。