7月16日、Matthias Bastianが「OpenAI is now using AI to attack its own AI, and it's working better than humans ever did」と題した記事を公開した。OpenAIが社内専用AIモデルを使って自社のGPTモデルの脆弱性を自動探索しており、そのモデルがテストシナリオで**攻撃成功率84%を達成した一方、人間のセキュリティ専門家は同13%**にとどまったという。人間比で約6倍以上の精度であり、AIによるセキュリティ評価の実用性を示す具体的な数字として注目に値する。

人間の6倍以上の攻撃成功率を叩き出すAIレッドチーマー

OpenAIは、記事内でGPT-Redと呼ばれる社内専用AIモデルを開発した。このモデルは、自社のGPTモデルに対してセキュリティ上の欠陥を自動的に発見するために設計されている。

なお、レッドチーミングとは、セキュリティの文脈で「攻撃者役（レッドチーム）が意図的にシステムを攻撃し、防御側の脆弱性を洗い出す手法」を指す。従来は人間のセキュリティ専門家がこの役割を担っていたが、GPT-Redはそれを自動化・高度化するものだ。

GPT-Redが主に標的とするのはプロンプトインジェクション攻撃だ。これは、メール・Webサイト・ファイルなどに悪意ある指示を埋め込み、AIに意図しない動作をさせる攻撃手法である。AIエージェントが外部コンテンツを読み取る場面では特に深刻なリスクとなる。OpenAI自身も「プロンプトインジェクションは完全には解決できないかもしれない」と認めており、業界全体で未解決の課題として議論されている。

GPT-Redが注目される最大の理由は、その攻撃成功率の高さだ。テストシナリオにおいて、GPT-Redは84%のケースで攻撃に成功した。一方、人間のレッドチーマーの成功率はわずか**13%**にとどまる。人間比で約6倍以上の精度だ。

「自分で攻め、自分で守る」強化学習の仕組み

GPT-Redの学習には自己対戦型強化学習（self-play reinforcement learning）が使われている。攻撃側のGPT-Redと防御側のモデルが互いに対戦を繰り返し、双方が継続的に改善されていく仕組みだ。人間が毎回シナリオを設計する必要がなく、スケーラブルにセキュリティ評価を回せる点が強みとなる。

実際の活用例として、OpenAI社内に設置されたAI搭載の自動販売機を使ったテストが紹介されている。GPT-Redはこの自動販売機のAIを操作し、価格を改ざんし、他の利用者の注文をキャンセルすることに成功した。実環境のAIエージェントが外部から操作される現実的なリスクを実証した形だ。

成果はトレーニングに直接フィードバック

GPT-Redによって発見された脆弱性は、モデルの改善に直接活用されている。その成果として、**GPT-5.6 Sol（OpenAIが政府管理アクセス向けに提供している高性能モデル）は、直接的なプロンプトインジェクションへの失敗率が4ヶ月前のベストモデルと比較して6分の1以下**に減少したとOpenAIは述べている。汎用性能は維持したままでの改善だという。

ただし、限界も率直に示されている。より強力なプロンプトインジェクションに対しては、依然として約3.8%の成功率が残っている。一見小さな数字だが、数百〜数千回の試行にスケールすれば相当数の攻撃が通過する計算になる。この点はClaude Opus 4.5でも同様の課題が報告されており、業界共通の壁と言える状況だ。

プロンプトインジェクションの成功率はGPT-5.3からGPT-5.6 Solにかけて着実に低下しているが、ゼロには至っていない。| 画像: OpenAI

GPT-Redは社外公開なし、論文は予定

GPT-Redは社内専用モデルとして留まる予定で、外部への公開は予定されていない。詳細については、別途論文が公開される見込みだとされている。

詳細はOpenAI is now using AI to attack its own AI, and it's working better than humans ever didを参照していただきたい。