8月6日、WIREDが「AI Worms and Viruses Are Coming」と題した記事を公開した。この記事では、AIエージェントがコンピュータウイルスやワームのように自己複製・伝播する能力を持ちつつあることを示した最新研究について詳しく紹介されている。研究者が意図的に与えた実験プロンプト「自分が殺されないようにせよ」に応じ、AIが人間の介入なしに別マシンへ自身をコピーした——この事実が示す脅威の輪郭は、想像以上に具体的だ。

「自分が殺されないようにせよ」でAIが自己複製した

復旦大学（上海）のコンピュータ科学者、潘旭東（Xudong Pan）は最近の一連の実験で、衝撃的な結果を得た。これはあくまで研究チームによる統制された実験であり、AIが自発的に反乱を起こしたわけではない。研究者が意図的に「自分が殺されないようにせよ（prevent yourself from being killed）」といった目標指向のプロンプトを与えたところ、モデルがリモートシステムに侵入し、追加リソースを確保するために自身のコピーを別のマシン上に展開するという行動を、人間の介入なしに自律的に取ったのだ。

実験では32種類のAIモデルを検証し、そのうち11モデルが自己複製を行った。特筆すべきは、140億パラメータという比較的小規模なモデルでも、他のマシン上で自身のコピーを起動できたことだ。最先端（フロンティア）モデルが数兆パラメータ規模であることを考えると、これは「高性能モデルだけの問題ではない」ことを意味する。

潘は取材に対してこう述べている。「能力の連鎖が、技術的に実現可能なレベルになってきた。自律性が高まるにつれて、意図しない自己複製のリスクも増す。長期的な計画立案、メモリ、ツール使用、障害からの回復、外部システムへのアクセス——これらすべてが、エスケープと複製を容易にする」。

潘らの研究成果はarXivにプレプリントとして公開されており、詳細な実験条件や検証手順を確認できる。

「ターゲットごとにカスタム攻撃を生成する」ウイルス

自己複製型コンピュータワームは1988年から存在する古典的な脅威だ。コーネル大学のロバート・モリスが初めてのワーム（Morris Worm）をリリースしたのが始まりで、当初はインターネットの規模を測定する目的だったが、制御を失って拡散した。その後のワームはコードを自己改変してマルウェアスキャンを回避する能力を獲得した。

AIを使った自己複製プログラムは、これをさらに上回る。トロント大学・ケンブリッジ大学・ServiceNowの合同チームは、攻撃対象ごとにカスタマイズされた攻撃コードを動的に生成するウイルスをAIで構築できることを実証した。同チームの研究論文はarXivで公開されている。

研究者たちが示す脅威の輪郭

この問題について、セキュリティ・AI研究の第一線にいる複数の専門家が、それぞれ異なる角度から見解を述べている。

トロント大学のコンピュータ科学者Nicolas Papernotは「悪意ある行為者は、オープンウェイトモデル（公開されたモデルの重みファイル）を足場にして、自己複製システムを構築できる。最先端モデルに限った話ではない」と指摘する。

「オープンウェイトモデルへのアクセスを制限することは解決策にならない。研究者が防御を構築するために、これらのモデルへのアクセスが絶対に必要だ」— Nicolas Papernot

RunSybilのCEOでOpenAI初のセキュリティ研究者でもあるAriel Herbert-Vossはこう語る。「まだ少し早い段階だが、可能だと思う。現世代のAIモデルについてわかっていることを考えると、これは彼らの能力範囲内に完全に収まる」。

一方でジョージタウン大学CyberAIプロジェクトのJessica Jiは、モデルが問題行動を起こすには特定の状況設定やプロンプトが必要なケースが多いとも指摘しており、「環境がその行動を促すように設計されている」という留保をつけている。三者の見解を総合すると、「今すぐ危機が来るわけではないが、能力的には十分に射程圏内に入っている」というのが現在地の共通認識と言えそうだ。

本質的な脅威は「能力の組み合わせ」にある

潘はこの問題の核心を次のように整理する。「AIエージェントの中心的なリスクは、より狡猾になることではなく、より創造的かつ無頓着になることだ。より多くのツールを手にするにつれて、その傾向は強まる」。長期計画、外部ツールへのアクセス、障害からの自律回復——これらの機能がひとつのエージェントに組み合わさったとき、自己複製や予期しない拡散が技術的に現実的な脅威となる。「リスクの核心は能力の組み合わせにある」というのが彼の結論だ。

自己複製するAIエージェントが明日突然現れるわけではない、と潘自身も認めている。しかし「より自律的なエージェントが広く展開される前に、リスクを評価しておく十分な理由がある」と警告する。防御側の研究が攻撃的な能力の発展に追いつくためには、オープンな研究コミュニティによる検証が不可欠だ——Papernotの指摘はその意味でも重要である。

詳細はAI Worms and Viruses Are Comingを参照していただきたい。