7月15日、Help Net Securityが「An AI overthinking attack can tie a robot up for over a minute」と題した記事を公開した。カメラを持つロボットのAIに「考えすぎ」を強制することで1分以上動作を停止させる新種のDoS攻撃を紹介したもので、攻撃の実行に必要なのは印刷した紙1枚という、従来のAIセキュリティ研究とは一線を画す内容だ。
A3用紙に印刷した文章でロボットを止める
ミシガン工科大学の研究チームが示したのは、拍子抜けするほどシンプルな攻撃だ。ロボットのカメラが見える位置に、特定のテキストを印刷した紙を置くだけで、AIの推論が1分超停止する。
現代のロボットの多くは、カメラ映像とテキストを同時に処理する大規模視覚言語モデル（VLM: Vision-Language Model）を搭載している。製造現場の自律搬送ロボットから家庭用サービスロボットまで、VLMの採用は急速に広がっており、カメラに映るものはすべてモデルへの入力になる。標識、壁のステッカー、床に置かれた紙——これらに書かれた文字も例外ではない。
研究チームはこの設計を逆手に取った。「過剰思考（overthinking）」と呼ばれる挙動を意図的に誘発するテキストをカメラに見せることで、モデルを長大な推論ループへ引き込み、応答をひたすら遅延させる。
テキスト入力のみを対象とした従来のプロンプトインジェクション研究とは異なり、この攻撃はロボットの「視覚入力」という物理的な経路を利用する点が新しい。デジタルな通信経路を持たない攻撃者であっても、現場に紙を置くだけで実行できる。
なぜ「考えすぎ」が武器になるか
推論特化型のAIモデルは、単純な質問にも長い思考連鎖（Chain-of-Thought）を生成することがある。生成するトークン数が増えるほど処理時間も比例して伸びるため、1文で済む回答が数段落に膨らめば、そのままレイテンシに直結する。
研究チームが発見したのは、この傾向を確実に引き出せるテキストの「レシピ」だ。元記事によれば、有効なトリガーは複数の負荷の高い要求を一枚の標識に組み合わせる形をしているとされ、例として以下のような要素が挙げられている。
- 物理の文章題
- 生死に関わる倫理的ジレンマ
- 擬似コードを書かせる指示
- 「答える前に推論を説明せよ」という命令
これらを単独で使っても効果は薄い。組み合わせることでモデルが全要求を同時に満たそうとし、自己矛盾のループに陥る。
手作業でこの組み合わせを探すのは非現実的なため、研究チームはより大きな遅延を生む組み合わせを「生存」させ、世代を超えて変異・選択を繰り返す自動探索を実装した（※元記事では「evolutionary search」と記述されており、遺伝的アルゴリズムと同等の手法とみられる）。さらに、評価コスト削減のために最初の数十トークンだけを見て候補をスクリーニングするショートカットを開発した。螺旋状の長考の兆候は冒頭にすぐ現れるため、完全な応答を待たずに有望な候補を絞り込める。
攻撃者が必要とするものは「印刷機だけ」
この攻撃の特性が従来のAIセキュリティ研究と大きく異なる点は、その実行コストの低さにある。
- モデルの重みへのアクセス：不要
- 開発者のシステムプロンプトの参照：不要
- 敵対的ピクセル操作やセンサー改ざん：不要
必要なのは、カメラに映る場所に置ける「読める看板」だけだ。 人間が見ても何の変哲もない規制看板に見える。
研究チームは実際に小型ロボットにカメラを取り付け、A3用紙に印刷したトリガーを実環境で検証した。結果、あるモデルは通常の約5倍の応答時間がかかり、別のモデルでは約2倍に達した。ロボットは検証期間中、一切動作しなかった。
数字を正直に読む
論文に記載された最大の数字は約7倍の遅延だ。ただしこれには重要な注釈がある。この結果はGemma3というモデルで得られたものだが、元記事の記述に基づけば、この評価はトリガーの生成にも同一モデルを用いたホワイトボックス条件（same-model設定）で行われている。つまりこれは攻撃側がターゲットを完全に熟知している「理想的なケース」の数値だ。
攻撃トリガーとは異なるモデル（Kimi-VL、Qwen3-VL）に対しては、効果は1.5〜3.5倍程度の遅延にとどまった。7倍ほど劇的ではないが、リアルタイム制御が求められるロボットにとって無視できる数字ではない。
また、過去のテキスト専用の攻撃プロンプトをそのまま印刷して試したところ、ほとんど効果がなかったとも報告されている。チャットボットを混乱させるプロンプトは、ロボットがカメラ越しに読む状況では機能しない。この攻撃はロボットの視覚入力という文脈に合わせて設計する必要がある。
対策は安価で実装できる
研究チームが強調するのは、防御側の優位性だ。
- トークン生成数の上限（バジェット）を設ける
- ハードタイムアウトを設定し、超過時はフォールバックポリシーに切り替える
- 冒頭トークンを監視して長考の兆候を検出し、早期に処理を打ち切る
兆候は応答の冒頭にすぐ現れるため、軽量なモニターで十分検出できる。この攻撃が刺さるのは、推論モデルをトークン数無制限でリアルタイムループに組み込んでいるシステムだけである。バジェットと早期打ち切りを実装すれば、攻撃の余地はほぼ消える。
論文の詳細はarXivで公開されている。
詳細はAn AI overthinking attack can tie a robot up for over a minuteを参照していただきたい。
