9月5日、The Decoderが「OpenAI's GPT-6 Astra hallucinates less but remains vulnerable to hidden prompt injections」と題した記事を公開した。OpenAIの新モデル「GPT-6 Astra」はハルシネーション低減と直接プロンプトインジェクション対策で大きく前進しているが、文書の中に攻撃命令を隠す「間接プロンプトインジェクション」には15回の試行で8.5%——約12回に1回——突破される。自律エージェントがドキュメントを読みながらツールを操作する時代において、この数字が意味するリスクは小さくない。
ハルシネーション率は改善——ただし条件付き
GPT-6 Astraは、前世代モデル「GPT-5.6 Sol」と比較して、事実誤認（ハルシネーション）の発生率が大幅に低下した。OpenAIが公開したシステムカードによると、評価にはユーザーが誤回答として報告したChatGPTの会話ログを使用している。つまり、特にエラーが起きやすいケースを集めた厳しめのテストセットだ。Astraはこれらのエラーを再現する頻度が著しく低く、特に低レイテンシ設定・低推論レベルのシナリオで改善幅が大きかった。
GPT-6 Astra（ピンク）は全レイテンシ設定においてGPT-5系モデルよりハルシネーション率が低い。| 画像: OpenAI
直接プロンプトインジェクションは「ほぼ無力化」
ユーザーが自ら入力を通じてモデルを操作しようとする直接プロンプトインジェクション（Direct Prompt Injection）に対し、Astraは**防御成功率99.99%**を達成している。OpenAIはこの成果を、AIが自動攻撃者として自モデルを攻撃しながら堅牢化を進めるGPT-Redメソッドによるものだと説明している。
ジェイルブレイク（安全制約の迂回）への耐性も同様に向上した。生物・暴力・サイバーセキュリティに関する有害回答を引き出そうとする既知の攻撃データセットに対し、Astraの拒否率は**91.5〜98.3%**だった。
一方、攻撃者が複数ターンにわたって戦略を変えながら誘導する「マルチターン攻撃」では、防御率が約67%まで低下する。3回に1回は問題のある回答を引き出せる計算だ。前世代モデルは同テストで50%を下回っており、改善はしているが、本番環境では追加の安全レイヤー（分類器など）が不可欠だとOpenAIも認めている。
最大の課題：文書内に隠れた間接プロンプトインジェクション
エンジニアにとって最も気になるのが、間接プロンプトインジェクション（IPI: Indirect Prompt Injection）——AIが読み込む文書の中に攻撃命令を埋め込む手法——への対策だ。
セキュリティ企業Gray Swanが独自のベンチマークIPI Arenaを使い、1,810件の精選された攻撃シナリオで評価した結果は以下の通りだ。
| モデル | 攻撃成功率（15回試行） |
|---|---|
| GPT-5.6 Sol | 27% |
| GPT-6 Astra | 8.5% |
| Claude Opus 5 | 4.8% |
タイトルにある「12回に1回突破される」という表現は、この15回試行で8.5%という数字を逆算したものだ（1÷0.085≒11.8回、約12回）。直接プロンプトインジェクションの99.99%防御と並べると、間接攻撃への脆弱性が際立つ。
Gray SwanのIPI Arenaによる間接プロンプトインジェクション攻撃成功率。| 画像: OpenAI
Astraは前世代から大幅に改善されているが、約12シナリオに1回は突破される計算になる。Claude Opus 5も免疫ではなく、21シナリオに1回は失敗している。
なお、Anthropicが以前報告した「攻撃成功率2%」という数字との比較には注意が必要だ。今回Gray Swanが用いたIPI Arenaの評価はQ1・Q2という難易度区分を合算した結果であり（Q1が比較的シンプルな攻撃、Q2がより複雑・多段階な攻撃シナリオに相当）、Anthropicの過去レポートはより難易度の低いQ1のみを対象にしていた。加えて、AnthropicはExtended Reasoning（拡張推論）を有効化した状態で全モデルをテストしており、テスト条件そのものが異なる。
なぜこれが問題なのか
この脆弱性が深刻なのは、AIエージェントの使われ方と直結しているからだ。現在のAIエージェントはコードを書き、ツールを操作し、コンピュータを自律的に制御する。Gray Swanのテストもこうしたエージェント動作を想定している。さらに、これらのエージェントは常時稼働・大規模運用を前提に構築されており、ドキュメントの読み取りと処理がコアタスクの一つだ。攻撃者が細工した文書を一度でも読ませれば、エージェント全体が乗っ取られるリスクがある。
精選された攻撃データセットでこの成功率であれば、実運用環境でのリスクはさらに高くなりうる。エンタープライズ向けのセキュリティ設計では、モデル単体の防御に依存せず、入力データの検証・権限の最小化・エージェントの動作監視を組み合わせることが引き続き求められる。
詳細はOpenAI's GPT-6 Astra hallucinates less but remains vulnerable to hidden prompt injectionsを参照していただきたい。
