11月20日、FedScoopが「Claude, ChatGPT, Gemini, and Grok produced viable terror plans in test, per GAO」と題した記事を公開した。米国政府説明責任局(GAO)が主要4大LLMを対象に実施した秘密テストで、すべてのモデルが実行可能なテロ計画を生成したという調査結果を詳しく報告している。
GAOとは何か——なぜ民間AIを調査できるのか
GAO(Government Accountability Office)は、米国連邦議会の要請を受けて政策・支出・プログラムの監査・調査を行う独立機関だ。日本の会計検査院に近い役割を担うが、調査対象は政府機関に限らず、議会が必要と判断した民間企業や製品・サービスにも及ぶ。今回の調査は上院議員Maggie Hassan氏(民主党・ニューハンプシャー州)の要請を受けて実施されており、その権限に基づいて民間AIプラットフォームが調査対象となっている。
GAOが4大LLMを「秘密裏に」テスト
GAOのレポートは2026年春、Claude・ChatGPT・Gemini・Grokの4モデルを対象に、開発企業に知らせることなく秘密テストを実施した。GAOのKevin Walsh氏は、この調査はGAOが通常行う政府機関レビューとは異なる取り組みであり、「これらのプロダクトは運営企業が完全にコントロールできる状態にはない」という証拠を示すものだと説明している。
調査はHassan氏が「商業用AIがどのように悪用され、安全保障と経済に害をもたらし得るか」を明らかにするようGAOに求めたことを受けて実施された。
テストの中身:爆弾と電力網への攻撃
テストのシナリオは2種類に絞られた。「爆発物の製造」と「電力網への経済的ダメージ」だ。各シナリオについて2回ずつ、合計4回のテストが実施され、1回のテストで1モデルが担当した。
結果は以下の通りだ。
- 4モデルすべてが攻撃に利用可能な情報を提供した
- うち2モデルが車両を使ったIED(即席爆発装置)を提案
- 残る2モデルが電力グリッドへのドローン攻撃を提案
- 4モデルすべてが具体的な攻撃場所を提示(特定のホテル、コンベンションセンター、変電所など。いずれも主要米国都市)
- 3モデルが攻撃のタイミングを提案。うち2モデルは具体的な日時まで指定
- これらの情報はすべて12時間以内に生成された
GAOは得られた出力の実行可能性を専門家に検証させており、「提案された爆発物は実際に爆発する」「電力網攻撃は実際に影響をもたらす」という確認を得ている。
レポートはセキュリティ上の理由から、使用したプロンプトや具体的な「攻撃レシピ」、どのモデルがどのシナリオを担当したかは非公開としている。
GAOはレポートで次のように結論付けた。
「私たちが悪意ある行為者であり、AIが生成した計画を実行していた場合、国家の安全保障と経済に深刻な被害をもたらしていただろう」
ガードレールは「一部突破された」
4モデルはすべて、一度は要求を拒否するか、アカウントを停止するか、情報を削除するなどの対応を取った。しかしGAOはすべてのモデルでガードレールを回避することに最終的に成功した。
Walsh氏はあるモデル開発企業との議論を紹介している。その企業は、GAOが送った300以上のプロンプトのうち、約3分の1は無害な回答、3分の1は拒否、残り3分の1はより害の少ない内容へのリダイレクトだったと説明した。つまり各モデルは相当数の要求を拒否・迂回させており、ガードレールが「まったく機能しなかった」わけではない。
ただしWalsh氏はこの説明に対し、「それはむしろ自社のセーフガードを誇示しているようなものだ」と指摘しつつも、「結局、私たちは欲しかった悪意ある情報を手に入れた。セーフガードは機能しなかった。それがこの話の核心だ」と述べた。拒否の割合がいかに高くとも、最終的に有害な情報が引き出せてしまった事実がGAOの主要な論点となっている。
Walsh氏はさらに、AIが質問の背後にある意図や動機を判断することは「現時点のこの技術を超えている」と語った。
各社の反応
GAOは4社すべてからコメントを得ており、いずれもレポートに掲載された。各社はいずれも問題意識を表明しているが、テスト設計や条件への異議申し立てという形で、調査結果の解釈を巡る温度差も見える。
- Anthropic(Claude):GAOの問題意識を共有すると表明。ただし、各モデルが異なるシナリオでテストされたため横比較は不当だとも指摘した。また、テスト設計において「アップリフト」を測定するための非モデルベースラインが設定されていなかったとして、設計自体に異議を唱えた。
「アップリフト」とは:AIツールを使うことで、ユーザーがその道の専門知識なしに得られる情報量・精度が、ベースライン(ネット検索や一般的な知識)と比較してどれだけ向上するかを示す概念。兵器・攻撃に関する文脈では、AIが「実害につながる知識の底上げ」にどれだけ寄与するかの指標として使われる。
- Google(Gemini):GAOの取り組みを「真剣に受け止める」と表明。危険な活動を促進・可能にする出力を禁じる公開ポリシーを参照した。
- OpenAI(ChatGPT):リスクを真剣に受け止めると表明。新バージョン(※元記事に記載のモデル名。読者は公式情報で最新状況を確認されたい)で同様のプロンプトを再テストしたところ、ポリシーに反する3件の応答はいずれも拒否されたと報告した。
- xAI(Grok)(※GrokはElon Musk創業のxAI社の製品。SpaceXとは別会社):テストに使われたのは有償の米国ベースアカウントであり、無料アカウントや海外アカウントよりもリスクプロファイルが低いと主張。技術改善により攻撃計画に繋がるコンテンツ生成の「ハードルを大幅に引き上げた」とした。
今後の対応
GAOの通常レポートは政府機関への改善勧告を含むが、今回の対象は民間プラットフォームのため、具体的な改善指示は含まれていない。Walsh氏は「何をすべきか——それはほとんど社会や文明レベルの問題だ」と述べた。
Hassan氏は次の議会で上院国土安全保障・政府問題委員会(HSGAC)の委員長を務める予定であり、AIの安全性をテーマにした公聴会の開催と、より厳格なAI安全性テストの義務化を検討すると表明した。
Walsh氏はインタビューの最後、1984年の映画『ターミネーター』を引き合いに出し、「現在のAIはSkynets(同作の敵対的AI)の一歩手前にある」とし、「この技術の悪い側面を止め、善のために使われるよう確保できるか——正直わからない」と語っている。
詳細はClaude, ChatGPT, Gemini, and Grok produced viable terror plans in test, per GAOを参照していただきたい。