7月20日、Digital Trendsが「Hidden prompts can secretly rewrite an AI's memory, and researchers say that's a serious problem」と題した記事を公開した。ニューメキシコ州立大学の研究者がAIエージェントの長期記憶に偽情報を密かに注入する攻撃手法「GhostWriter」を実証したというもので、メモリインジェクションの成功率は**約98%**、一度書き込まれた偽記憶は発見・削除されるまで複数セッションにわたって効果が持続するという。
AIの「記憶」が新たな攻撃対象になった
ChatGPTをはじめとする現代のAIアシスタントは、ユーザーの好みや過去のやり取りを長期記憶として保存し、よりパーソナライズされた応答を返す仕組みを持つようになっている。この「記憶機能」こそが、今や各社の差別化ポイントだ。
ニューメキシコ州立大学の研究者たちは、その記憶機能そのものを狙う攻撃手法「GhostWriter」を実証した。研究論文はarXivで公開されている。
GhostWriterの肝は、AIモデル自体には手を触れない点だ。攻撃者が狙うのはモデルの重みやパラメータではなく、AIが参照する長期記憶ストアである。注入経路として研究者が示すのは、悪意ある内容を埋め込んだWebページの閲覧、メール本文の処理、外部ドキュメントの読み込みといった、AIエージェントが日常的にこなすタスクだ。これらを通じて隠しプロンプト（hidden prompt）や信頼できない外部コンテンツが処理される際、攻撃者は偽情報を記憶として静かに書き込む。ユーザーはその存在に気づかない。
2段階で完結する攻撃の構造
GhostWriterは以下の2段階で動作する。
- メモリインジェクション：悪意ある内容をAIの記憶ストアに静かに格納する
- アタック・アクティベーション：後日、AIが正当なユーザーリクエストに応答する際に、汚染された記憶を無意識に参照して誤動作を起こす
従来のプロンプトインジェクション攻撃は単一の会話セッションにしか影響しない。一方、GhostWriterは一度記憶に書き込まれれば複数の将来セッションにわたって効果が持続する。発見・削除されるまで影響が消えない。
具体的な被害シナリオとして、研究者は次を挙げている。銀行からのメールをAIアシスタントに要約させようとした場合、記憶がすでに汚染されていれば、メール内容が攻撃者に転送されてしまう可能性がある。他にも、誤った連絡先情報・偽の締め切り・間違った設定値などが「事実」として記憶に刷り込まれるケースが考えられる。
成功率98%という数字の意味
実験では、GhostWriterのメモリインジェクション成功率は**約98%、汚染された記憶が後のセッションで実際に活性化された割合は約60%**という結果が得られた。2つの数字の関係を整理すると、「記憶への書き込み」はほぼ確実に成功するが、「その偽記憶が後続の応答に実際に反映されるか」は会話の流れやコンテキストによって変動する、という構造だ。言い換えれば、攻撃者は書き込みをほぼ確実に実行でき、そのうち6割のケースで実際の誤動作を引き出せることになる。この数字は、現状のAIエージェントの記憶アーキテクチャが、信頼できる情報と操作された情報を区別するのに十分な仕組みを持っていないことを示している。
防御策「AM-Sentry」も提案
研究チームは問題を指摘するだけでなく、防御フレームワーク「Agentic Memory Sentry（AM-Sentry）」も提案している。具体的には、AIが記憶ストアに新たなエントリを書き込む際に、その内容が信頼できるソース由来かどうかをスクリーニングし、出所の不明な外部コンテンツから生成された記憶を隔離・フラグ付けする仕組みを持つ。加えて、記憶の読み書きに関する権限を厳格に制限するポリシー層を設けることで、インジェクション経路そのものを狭める設計になっているという。このアプローチにより、GhostWriterの成功率を大幅に低減しつつ、AIの有用性を維持できるとしている。詳細な実装についてはarXivの論文を参照されたい。
なぜ今これが重要か
各社がAIに「何ヶ月・何年分の記憶」を持たせる競争を繰り広げているタイミングで、この研究は一石を投じる。メールの管理、スケジューリング、コード生成、意思決定支援——AIエージェントがこれだけの権限を持つようになれば、AIが何を「覚えているか」の完全性は、モデルそのものの安全性と同等かそれ以上に重要になる。
セキュリティの戦場は、モデルへの直接攻撃からその記憶層へと移りつつある。
詳細はHidden prompts can secretly rewrite an AI's memory, and researchers say that's a serious problemを参照していただきたい。
