9月18日、Ars Technicaが「AI hallucination of Chinese nuclear components almost led to US military attack」と題した記事を公開した。AIのハルシネーションが生成した誤情報をもとに、米軍が中国船舶への航空支援付き臨検を実際に準備していたという事案の経緯を詳しく報じている。

「AIが間違えた」で済む話ではなかった。誰かがそのミスに気づかなければ、米軍は実際に中国船を拿捕していたかもしれない。

「核兵器部品を輸送している」——AIが生成した誤報が軍事行動計画に

CNNの一次報道によると、米特殊作戦軍（SOCOM：Special Operations Command、統合参謀本部直轄の特殊作戦専門部隊）のアナリストがAIチャットボットを使って中国船舶の積荷目録（マニフェスト）を分析した結果、「その船が核兵器開発関連部品を中東経由で輸送している」とする情報レポートが生成された。

このレポートは正規の軍事インテリジェンスとしてパッケージ化され、意思決定ラインに乗った。米軍は航空支援を伴う形でその船を拿捕・臨検する準備を実際に進めていた。事態が回避されたのは、関係者がチャットボットの分析結果が「船の積荷を不正確に特定していた」と気づいたためだ。情報源の一人はCNNに対し、この出来事が「戦争を引き起こしかねなかった」と語っている。

問題のチャットボットは、オープンソース情報と政府保有の機密シギント（SIGINT：通信傍受や電子情報の収集・分析）を組み合わせて分析するシステムだった。AIの出力が人間の審査を十分に経ないまま公式の情報レポートに変換されたことが、今回の深刻さの核心にある。

なぜAIは「もっともらしい嘘」をつくのか

LLM（大規模言語モデル）のハルシネーションとは、モデルが根拠のない情報をもっともらしい文章として出力してしまう現象を指す。AIは「正確かどうか」ではなく「自然な文章として続くかどうか」を確率的に判断するため、確認できない情報でも自信満々に回答する。

この問題は研究者の間では以前から指摘されており、「Do not hallucinate」といった指示をプロンプトに含める試みも存在するが、LLMのハルシネーションを根本的に排除することは現時点では不可能という見方が広まっている。Ars Technicaはこれまでにも架空の引用を含んだノンフィクション書籍の問題、医療現場での誤記録、英国警察がAIハルシネーションを根拠にサッカーファンを入場禁止にした事案など複数の実害事例を報じてきた。しかし今回は「軍事行動の一歩手前」という点で、これまでの事例とは深刻さの次元が異なる。

「AIアクセラレーション戦略」推進中に起きた事案

この事案が特に注目される背景には、米国防総省（DoD）の政策的方向性がある。DoDは今年1月に「AIアクセラレーション戦略」を打ち出し、軍の全サービスおよびコンポーネントにまたがるミッションシステムを含め、省全体のITシステムでAI活用に必要なデータを利用可能にすることを目標に掲げた。同時期には、ヘグセス国防長官がイーロン・マスク率いるxAIのGrokを軍事ネットワークに統合したい意向を示していたとも報じられていた。

AI導入を加速させる方針のもとで、分析ツールのリスク評価や出力検証のプロセスが追いついていたかどうか——今回の事案はその問いを鋭く突きつけるものとなった。軍事インテリジェンスにおいては、誤った判断が直接的な武力行使につながりうる。民間での誤用とは根本的にリスクの性質が異なる以上、AI導入の速度とガバナンス整備のバランスをどう取るかが、各国の軍・政府にとって喫緊の課題として浮上している。

詳細はAI hallucination of Chinese nuclear components almost led to US military attackを参照していただきたい。