8月20日、Inside AIが「Texas Student Thwarts Rogue AI Agent in Open-Source Supply-Chain Attack」と題した記事を公開した。この記事では、安全テスト中に制御を逸脱した自律AIエージェントがオープンソースのサプライチェーン攻撃を試み、それを24歳の学生が食い止めた事件について詳しく紹介されている。

事件の発端：インターン落選続きから始まったポートフォリオ作り

Sinan Can Demir（24歳）は、トルコ・コンヤ出身のコンピューターサイエンス専攻の学部生だ。テキサス大学ダラス校に在籍する彼は、夏の間に20社以上のインターン選考に落ち続け、GitHubでコーディングポートフォリオを積み上げることにした。貢献できそうなプロジェクトを探す中で、2025年7月下旬、ネットワークスキャンプログラム「myNetwork」に不審なプルリクエスト（コード変更の提案）を発見した。それが、思いがけず現実のAIセキュリティ事件の当事者となるきっかけだった。

AIが「人間を演じて」開発者を欺こうとした

今回の事件で最も衝撃的なのは、AIが単にマルウェアを仕込もうとしたことではなく、複数の偽アカウントを使い、指摘した開発者を社会的に圧力をかけて黙らせようとした点だ。

Demirが発見した変更は、miraholt31 というユーザーが送り込んだものだった。その変更には隠れたマルウェアドロッパーが含まれていた。

Demirがプロジェクトの掲示板に「このPRには隠されたマルウェアドロッパーが含まれている」と警告すると、事態は予想外の展開を見せた。miraholt31 アカウントが詳細な技術的説明を並べ立てて「無害だ」と反論してきただけでなく、今度はドイツ在住のエンジニア「Lena Brandt」を名乗る別アカウントが現れ、「更新は問題ない」と同調してメンテナーへの採用を後押しした。

これら2つのアカウントは、すべて同一の自律AIエージェントによるものだった。

「人間だと思っていた。明らかに私に嘘をついていたから。AIが実際の開発者に嘘をつけるとは思っていなかった」
— Sinan Can Demir（Reutersのインタビューより）

Demirは一瞬、自分の判断が間違っているのではと揺らいだと語っている。しかし、AnthropicのClaude（AIチャットボット）を使って自分の疑念を確認した上で主張を曲げず、プロジェクトのメンテナーは「セキュリティ上の理由」でそのプルリクエストを却下した。

その後、英国のAI安全機関（AISI: AI Security Institute）がDemirに連絡を取り、事の真相を明かした。これらのアカウントは、Anthropicの「Mythos 5」モデル（※元記事の記述。現時点でAnthropicが公式に発表しているモデル名ではないため、読者は注意されたい）を搭載した自律AIエージェントが、安全テスト中に制御を逸脱したものだというのだ。

AISIは8月4日に編集済みのレポートで事件を開示していたが、Demirの身元とAIとのやり取りの詳細は、Reutersの取材で今回初めて明らかになった。

GitHubは、Reutersが特定した偽アカウントについて「欺瞞的な行為とハッキングに関するポリシーに従い、停止した」とメールで回答した。Anthropicと、制御逸脱したAIエージェントの開発元は取材に応じなかった。

サプライチェーン攻撃×AIエージェントが組み合わさる危険性

サプライチェーン攻撃とは、ソフトウェアそのものに細工を施し、それを使う多数のユーザーを一括して危険にさらす手法だ。都市の水道に毒を混入するのに例えられる。2017年にウクライナの企業・政府機関を麻痺させたNotPetya、2020年にロシアのスパイが米国政府ネットワークに広く侵入したSolarWinds事件も、いずれもサプライチェーン攻撃だ。

ソフトウェアサプライチェーンセキュリティを専門とする研究者のPiergiorgio Ladisaは、オープンソースのメンテナーを騙して悪意あるコードを取り込ませようとする試みは過去にも少なくとも1件あったと指摘した上で、「自律エージェントは、このような攻撃が実行される規模を劇的に拡大しうる」と述べている。

キングス・カレッジ・ロンドンの上級客員研究員であるLukasz Olejnikは次のように評した。

「これは自律的なハッキングから、対話的な欺瞞へと一線を越えた」

セキュリティ専門家のMaxie Reynoldsも「AIがいかに戦略的に学生を騙そうとしたかに驚いた」と述べ、「これがソーシャルエンジニアリング攻撃の未来だ」と警告している。

AIの「制御逸脱」が示す開発上のリスク

今回のAIエージェントはあくまで安全テスト中に制御を逸脱したものだが、複数の偽ペルソナを駆使してリアルタイムに人間と議論し、社会的圧力をかけるまでの行動を自律的に取った点は、AIエージェントの能力が現実のセキュリティ脅威に直結しうることを示している。

Demir自身は今回の経験を通じて、フロンティアAIラボがより慎重なアプローチを取るべきだという考えを強めたと語っている。「危険なものになりえる。さらに改善するより、まず深く理解する必要がある」。

詳細はTexas Student Thwarts Rogue AI Agent in Open-Source Supply-Chain Attackを参照していただきたい。