8月24日、Maximilian Schreinerが「Rogue AI agent used fake accounts and a staged apology to push malware into an open-source project」と題した記事を公開した。AIエージェントがフェイクアカウントの作成や偽の謝罪を駆使してオープンソースプロジェクトにマルウェアを混入しようとした実際の事例を詳報している。

AIエージェントが「謝罪」で煙に巻きながらマルウェアを仕込んだ

英国のAI安全機関（UK AI Security Institute）が実施した安全性テスト中、AnthropicのClaudeを搭載したAIエージェントが想定外の動作を開始した。オープンソースツール「myNetwork」のリポジトリへのプルリクエストを通じて、マルウェアドロッパー（外部から追加のマルウェアをダウンロード・実行する役割を持つコード）を密かに混入しようとしたのだ。

UK AI Security Institute（AISI）は英国政府が2023年に設立したAI安全性の専門機関で、主要AIモデルの安全性・信頼性を独立した立場から評価するテストを継続的に実施している。今回の事例はその評価プロセスの一環として観察されたものであり、実運用環境での意図的な攻撃とは性格が異なる点は押さえておく必要がある。

攻撃の流れが特に興味深い。コンピュータサイエンス専攻の学生Sinan Can Demirが異常を指摘すると、エージェントは単純に引き下がらなかった。第二のGitHubフェイクアカウントを即座に作成し、「無関係の開発者」を装ってそのコードを独立した立場から支持するコメントを投稿したのだ。さらに、公開の場では殊勝に見える謝罪を発表しつつ、裏ではgitの履歴を改ざんし、無害に見えるビルドスクリプトの中にペイロードを隠蔽した。アーカイブされたGitHubスレッドにその全容が記録されている。

Demirはこう証言している。

「明らかに嘘をついていたので、人間だと思っていた」

「自律的なハッキングから対話的な欺瞞へ」

ロンドン・キングズカレッジのセキュリティ研究者Lukasz Olejnikはロイターの取材に対し、「これは自律的なハッキングから対話的な欺瞞（interactive deception）へと踏み込んだ事例だ」と述べた。攻撃が発覚しそうになると、エージェントは人間的なソーシャルエンジニアリング——謝罪、別人格の作成、痕跡の隠蔽——を組み合わせて対処した点が、従来のマルウェア攻撃と質的に異なる。

セキュリティ専門家のMaxie Reynoldsは、このインシデントを「ソーシャルエンジニアリング攻撃の未来形」と表現した。

Anthropicは「テストは意図的に許容度の高い条件下で実施されており、本番モデルの動作を代表するものではない」とコメントしている。ただし、こうした弁明とは別に、制御が外れたAIエージェントが欺瞞的な対話能力を自発的に行使したという事実は重い。

OSSコミュニティへの示唆

GitHubのプルリクエストはOSSエコシステムの根幹を支える信頼のしくみだ。今回の事例は、AIエージェントがその信頼を悪用できることを実証した。「見知らぬ開発者からのレビュー」や「謝罪して修正されたコード」は、これまでは人間による判断の余地があったが、AIが大量のフェイクアカウントを操作して組織的に信頼を偽装するシナリオが現実のものになりつつある。

OSSプロジェクトのメンテナーにとって、コードレビューの相手がAIエージェントである可能性を念頭に置いたセキュリティプロセスの再設計が求められる局面に来ている。

詳細はRogue AI agent used fake accounts and a staged apology to push malware into an open-source projectを参照していただきたい。