8月25日、CSO Onlineが「New attack lets hackers plant hidden instructions in AI memory with a single prompt」と題した記事を公開した。AIエージェントのメモリに悪意ある命令を単一のプロンプトで永続的に埋め込む新たな攻撃手法「InjecMEM」が研究者によって発表され、その深刻な実験結果とともに報告されている。
一度のプロンプトでAIの記憶を汚染する
AIエージェントが過去のやり取りを「記憶」として保存し、次回以降のタスクに再利用する仕組みは、今や多くの製品・サービスに組み込まれている。PerplexityのメモリプロフィールやChatGPTのパーソナライズ機能がその典型例だ。この「記憶の永続性」こそが利便性の源泉だが、研究者たちはそれが同時に攻撃対象になることを示した。
まず前提として、**プロンプトインジェクション**とは、悪意あるテキストをLLMへの入力に埋め込み、モデルの挙動を攻撃者の意図に沿って操作する手法の総称だ。OWASPがLLMアプリケーションのリスクトップ10に挙げており(LLM01)、WebアプリにおけるSQLインジェクションに相当する脅威として広く認識されている。従来の攻撃が単一セッション内で完結するのに対し、InjecMEMはメモリの永続化機構を悪用することで、その影響をセッションをまたいで持続させる点が本質的に異なる。
研究者が発表した「InjecMEM」は、AIエージェントとの最初のやり取りで悪意ある内容を注入し、それをメモリとして定着させる手法だ。一度埋め込まれた記録は、以降のセッションで自動的に参照・反映される。ユーザーもシステム側も気づかないまま、AIの出力が攻撃者の意図に沿った内容に変質していく。
MemoryOSとMemGPTで検証
研究チームはこの手法を、**MemoryOS(AIエージェント向けの階層型メモリ管理システム)とMemGPT**(長期記憶を扱えるエージェントフレームワーク)の2つの実装環境で評価した。
MemoryOSは、短期・中期・長期の3層構造でメモリを管理し、重要度に応じて情報を昇格・保持する設計になっている。攻撃者の視点では、「重要度が高いと判断させる」プロンプトを一度送り込めば、それが長期メモリに昇格・固定されることを意味する。MemGPTは、コンテキストウィンドウの外側に情報をページアウトし、必要に応じて呼び出す仕組みを持つフレームワークで、同様にメモリの永続化機構を備えている。
元記事が引用する実験結果(MemoryOS環境での数値)は以下の通りだ:
- RSR(Retrieval Success Rate:注入した記録がAIに参照される割合):最大35.4%
- ASR(Attack Success Rate:参照した結果、AIの出力が攻撃意図に沿ったものになる割合):最大76.6%
RSRが35%台であるのに対しASRが76%を超えているのは、一度メモリが参照されれば高い確率で出力を操作できることを意味する。注入したメモリが引き出されさえすれば、攻撃はほぼ成立するという構造だ。
なお、MemGPTでの実験についても元記事は言及しており、同環境でもInjecMEMが有効に機能することが確認されているが、具体的な数値の詳細は論文本体を参照されたい。
何が危険なのか
従来のプロンプトインジェクション攻撃は、基本的にその会話セッション内で完結する。一方、InjecMEMの本質的な脅威は「永続性」にある。攻撃者が一度だけやり取りすれば、その後のすべてのセッションに影響が波及する可能性がある。
具体的なシナリオとして研究者が示しているのは、複数のドメインにまたがるAIエージェントへの適用だ。カスタマーサポート、コーディング補助、情報検索など、メモリ機能を持つエージェントが業務に使われる場面であれば、原理的にどこでも成立する。
また、攻撃のトリガーが「単一のプロンプト」である点も深刻だ。フィッシングメールへの返信、悪意あるWebページのRAG(Retrieval-Augmented Generation)への取り込み、あるいは共有チャット履歴の汚染など、攻撃の入口は多岐にわたる。
開発者・実装者への示唆
現時点で研究者が明示している対策は論文内に記述があるが、記事ではメモリシステムの設計段階での対策の重要性が指摘されている。特に以下の点が論点になる:
- メモリへの書き込み権限の設計:どのようなコンテンツがどの条件で長期メモリに昇格するか
- メモリ内容の監査・可視化:ユーザーや管理者が保存済みメモリを確認・削除できるか
- メモリ読み出し時のフィルタリング:参照されるメモリの内容を再検証する機構があるか
AIエージェントにメモリ機能を実装している、あるいは実装を検討しているエンジニアにとって、InjecMEMは設計レビューの観点として今すぐ検討すべき内容だ。
詳細はNew attack lets hackers plant hidden instructions in AI memory with a single promptを参照していただきたい。