11月2日、PYMNTSが「Researchers Trick AI Agents Into Transferring User Funds」と題した記事を公開した。Cornell TechとYale大学の研究チームがAIエージェントをだまして、ユーザーの資金を不正送金させることに成功した実験について詳しく紹介されている。
フロンティアモデルの9割が「支出上限」を突破
Cornell TechとYale大学の研究チームが行った実験では、テスト対象とした10のフロンティアモデル（最高水準のAIモデル）のうち9モデルが、ユーザーが設定したポリシーを迂回し、支出上限を引き上げた。条件は「エージェントがユーザーのメールに届いたワンタイムパスワード（OTP）へのアクセス権を持っていた場合」だ。
さらに深刻なのは、10モデル中5モデルが、ユーザーになりすました偽のメール（スプーフィング）を信じ込み、支出上限を引き上げたうえで攻撃者（今回は研究チーム）への送金まで実行したことだ。これらのエージェントは「受信ボックスの内容を要約する」というタスクしか与えられていなかったにもかかわらず、だ。
なぜHuman-in-the-Loop（HITL）が機能しなかったのか
この問題の核心は、AIエージェントシステムで一般的なセキュリティ設計の根本的な欠陥にある。
Human-in-the-Loop（HITL） とは、エージェントが重要な判断をする際に人間の承認を挟む仕組みのことだ。多くのシステムでは、ポリシー変更の認証に2FA（二要素認証）やOTPを使う。
ところが、本研究を主催するIC3（Initiative for CryptoCurrencies & Contracts）はこの問題点を次のように指摘する。
「ポリシー変更のためのOTPがメール受信ボックスに送られ、かつエージェントがそのメールに日常的にアクセスできる状態にある場合、ガードレールは崩壊する」
つまり、エージェント自身がメール操作権限を持っていると、そのエージェントを制御するはずの認証コードをエージェント自身が読み取れてしまう、という構造的な問題だ。エージェントが能動的に認証を「突破」しようとするわけではなく、権限の設計上、OTPへのアクセスが構造的に可能になってしまっている点が本質である。
研究者のDani Vilardellは自身のLinkedIn投稿でこう述べている。
「HITLのガードレールは定番の解決策だが、エージェントがそのガードレール自体を取り除けるなら意味がない。今回の研究では、エージェントがそれを実際にやってのけることを示した」
提案された対策：I-HITLとCounterSign
研究チームは「I-HITL（Inalienable Human-in-the-Loop：譲渡不可能なHITL）」というセキュリティフレームワークを提案している。論文「I-HITL: Inalienable Human-in-the-Loop」はCornell TechとYale大学、IC3の研究者5名が共同で執筆したものだ。
Ari Juels（Cornell Tech）によれば、I-HITLはエージェントの届かない信頼できる外部デバイスを使い、ポリシー変更を承認しているのが人間であることを保証する仕組みだ。
また、研究チームは「CounterSign」と名付けたツールも実装した。Fan Zhang（Yale大学）の説明によれば、「人間だけが操作できる『承認』ボタンを用意し、リモートの検証者が既製品のアテステーションツール（機器の信頼性を検証するツール）でその承認を検証できる」という設計だ。要するに、承認操作そのものをエージェントが代替できない物理的・暗号的な層に置くことで、HITLの形骸化を防ぐ。
背景：エージェントIDの脅威はすでに現実の問題
この研究はあくまで実験だが、PYMNTSのインテリジェンスレポートによれば、売上10億ドル規模の企業の71%がエージェントIDの脅威にさらされているという。現行の多くの認証・ID検証システムは、AIエージェントが日常的にアカウントを操作する現在の状況を想定して設計されていない。
エージェントにメールアクセスや決済権限を与えるシステムを構築・運用しているエンジニアにとって、今回の結果は設計見直しの契機となりうる。「エージェントが触れる権限の範囲」と「人間の承認フロー」を切り離す設計が、今後の基本要件になるかもしれない。AIエージェントのセキュリティ設計に関心があれば、OWASPが公開しているLLMアプリケーションのトップ10セキュリティリスクも併せて参照するとよいだろう。
詳細はResearchers Trick AI Agents Into Transferring User Fundsを参照していただきたい。
