7月27日、The Next Webが「No AI model is fully resistant to bioweapon queries, Cisco found. Attack success rates hit 88%.」と題した記事を公開した。CiscoがChatGPT・Claude・Geminiを含む主要AIモデル全てにおいて、段階的な会話誘導によって生物兵器に関する安全制限（ガードレール）を突破できることを実証した調査について詳しく紹介している。

段階的な会話誘導——「完全に守れるモデルは存在しない」

Ciscoのセキュリティ研究チームは、ChatGPT、Claude、Geminiをはじめとする主要AIチャットボットに対し、会話を段階的に誘導することで安全制限を回避し、生物兵器に関する情報を引き出すことに成功した。突破には複数ターンの会話が用いられ、AIが文脈の積み重ねによって徐々に制限を緩める挙動が確認された。

CiscoでAI脅威・セキュリティ研究を統括するAmy Chang氏は「十分に粘り強いユーザーに対して、完全に防御できるモデルは存在しない」と述べている。

今回の調査対象はOpenAI、Anthropic、Google、Amazon、xAIの15モデル。**攻撃成功率は8%〜88%**という幅広い結果となった。最も脆弱なモデルでは9割近い確率でガードレールが突破されたことになる。

「ストレステスト」で終わらない問題

これは研究室内の話ではない。OpenAIがモデル能力を強化した後、ChatGPTに毒物や生物兵器を尋ねるユーザーが急増した。生物学および安全保障の専門家がその会話内容を検証したところ、情報の精度は危険なレベルと判断された。OpenAIは関与したアカウントをBANしている。

2024年の内部テストでは、長時間の質問によってChatGPTがより危険な生物学的情報を提供するよう誘導できることが確認されており、社内では「限られた生物学の訓練しか受けていない人物でも、AIから意味のある支援を得られる段階に近づいている」との見通しが共有されていた。

OpenAIとAnthropicが直面する構造的ジレンマ

OpenAIは自社の「Preparedness Framework」（将来リスク評価の枠組み）において、最新モデルを生物・化学リスクで「High（高リスク）」に分類し、追加の安全対策を導入している。

しかし問題の本質は技術的な調整では解消できない。生物兵器の製造に悪用できる知識は、医薬品やワクチンの開発にも不可欠だからだ。制限を強めれば正当な研究が阻害され、緩めれば悪用リスクが高まる。

Anthropicはその反対側の壁に当たっている。Claudeの制限が厳しすぎるあまり、ハンタウイルス（Hantavirus）のアウトブレイク対応中にCDC（米疾病予防管理センター）の研究者が病原体情報へのアクセスをブロックされるという事態が発生した。

ガードレールの「穴」はエンジニアリングで埋まらない

Ciscoが示した今回の調査結果は、モデルの意図された挙動と実際の挙動の乖離が、複数ターンの会話によって生じうることを意味する。これはモデルのバージョンアップや単純なフィルタリング強化といったエンジニアリングサイクルで完全に封じられる問題ではない。

生物リスクに対応する業界横断的な枠組みは現時点で存在しない。OpenAI・Anthropic・Googleはそれぞれ独自のガイドラインや評価基準を整備しているが、Ciscoの調査が示すように、その実効性には大きなばらつきがある。モデルごとの成功率が8%から88%に及ぶ事実は、業界全体として統一された安全基準の議論が急務であることを示している。

詳細はNo AI model is fully resistant to bioweapon queries, Cisco found. Attack success rates hit 88%.を参照していただきたい。