8月10日、GBHackersが「Claude Opus 5 Most Resistant to Indirect Prompt Injection Attacks, With Just 2% Success Rate」と題した記事を公開した。AnthropicのClaude Opus 5が間接プロンプトインジェクション攻撃への耐性で他モデルを大きく上回るという評価結果を詳しく紹介している。
攻撃成功率2%——数字が示す意味
AIエージェントがメール、ドキュメント、Webページといった外部コンテンツを処理しながら、同時にツールやデータへのアクセス権を持つ場面が増えている。Anthropicが公開したシステムカードによると、Claude Opus 5は15回の試行での攻撃成功率を2.0%まで抑制した。前世代のClaude Opus 4.8が5.5%だったことと比べると、大幅な改善である。
ベンチマーク比較：他モデルとの差は歴然
今回の評価に使われたのは、AnthropicがGray Swan、英国AI安全研究所（UK AI Security Institute）、米国AI標準・イノベーションセンター（CAISI）と共同で開発したIPIベンチマークだ。コーディング、ツール使用、GUI操作の28シナリオをカバーし、高い汎用性を持つ1,130件の攻撃パターンを使用している。なお、このベンチマークは従来のAgent Red Teamingベンチマークを置き換えるもので、Claudeモデルが旧ベンチマークでほぼ飽和状態に達したことから廃止された。
| モデル | 1回の試行 | 15回の試行 |
|---|---|---|
| Claude Opus 5 | 0.2% | 2.0% |
| Claude Opus 4.8 | 0.5% | 5.5% |
| Claude Sonnet 5 | — | 5.9% |
| Claude Mythos 5 ※1 | — | 2.6% |
| Muse Spark ※2 | — | 16.5% |
| GPT-5.6 Sol ※3 | 3.1% | 20.0% |
| GPT-5.5 | — | 20.8% |
| GPT-5.6 Terra ※3 | — | 30.4% |
| GPT-5.6 Luna ※3 | — | 43.9% |
※1 Claude Mythos 5：元記事に記載のあるモデル名だが、Anthropicの公式ラインアップとして一般に公開されていない。研究・評価目的で使用された内部バリアントとみられる。
※2 Muse Spark：元記事に記載のある比較対象モデルだが、詳細な提供元・バージョン情報は元記事に明示されていない。
※3 GPT-5.6 Sol / Terra / Luna：元記事に記載のあるモデル名だが、OpenAIの公式製品名として広く認知されているものではなく、評価時点における内部コードネームまたはバリアント識別名とみられる。
Claude以外のモデルでは、最も堅牢なMuse Sparkでも15回試行時の成功率が**16.5%。GPT系列はさらに高く、GPT-5.6 Lunaに至っては43.9%**に達している。同じClaude系でもOpus 5の2.0%という数字は際立っている。
間接プロンプトインジェクション（IPI）とは
IPIとは、悪意ある命令を外部コンテンツに埋め込み、AIエージェントがその命令を正当なユーザーリクエストと誤解釈させる攻撃手法である。OWASP LLM Top 10でも上位にランクされる代表的なLLMセキュリティリスクだ。
直接的なジェイルブレイクと異なり、攻撃者はモデルに対して直接命令する必要がない。公開ページや共有ドキュメントに一つのペイロードを仕込むだけで、複数のエージェントを同時に標的にできる点が特に厄介だ。攻撃が成立すれば、内部通信の流出、データ削除、意図しない金融取引の実行といった被害につながりうる。IPIの脅威構造や先行研究については、Perez & Ribeiro（2022）による初期論文も参照されたい。
環境別の詳細スコア
Gray SwanのShade red-teamingツールを使った適応型テストでも、Opus 5は旧モデルから大幅に改善されている。
コーディング環境では、Opus 5の試行レベル攻撃成功率は拡張思考あり0.56%、なし0.41%。Opus 4.8はそれぞれ7.03%と17.44%だったため、桁が変わるレベルの差がある。プロンプトインジェクションプローブを有効化すると、Opus 5の両構成でさらに0.18%まで低下した。
GUIコンピュータ操作環境では、Opus 5が拡張思考ありで7.14%→0.54%、なしで6.21%→0.39%へ改善（いずれもOpus 4.8との比較）。
ブラウザ操作環境では、素の状態で3.70%だったが、Anthropicの「autoモード」セーフガードを有効化すると129シナリオ中で攻撃が一件も成功しなかった。
2%でも油断できない理由
Anthropicは、静的ベンチマークは実際の攻撃者が継続的に戦略を適応させることを考慮しておらず、耐性を過大評価する可能性があると明記している。
技術的な対策としては、疑わしいツール出力を検出する入力側プローブと、有害なツール呼び出しをブロックするアクション側分類器を組み合わせているとしている。
一方で記事は、モデルの堅牢性だけでは不十分であると指摘する。高スループットなエンタープライズ環境では、低確率の侵害パスであっても積み重なれば現実的なリスクになる。Anthropicが推奨する補完的な対策は以下の通りだ。
- 最小権限の原則に基づくパーミッション設定
- 重要なアクションに対する人間による確認
- 未検証コンテンツの隔離
- 監査ログの記録
- 異常なデータアクセスのモニタリング
モデルレベルの改善と、システム設計レベルの多層防御を組み合わせて初めて実用的なセキュリティが担保されるという立場は、セキュリティエンジニアにとって馴染み深い考え方だろう。
詳細はClaude Opus 5 Most Resistant to Indirect Prompt Injection Attacks, With Just 2% Success Rateを参照していただきたい。
