11月19日、The Decoderが「Anthropic, OpenAI, and Google models readily marked medics, journalists, and surrendering soldiers as kamikaze drone targets」と題した記事を公開した。主要AIモデルが自律型兵器(自爆型ドローン)への悪用に対してほぼ無防備であることが調査で明らかになった、というものだ。
安全フィルターを素通りした「ドローン標的指定」
AIセキュリティ調査会社Vals AIが実施したレッドチーム評価で、Anthropic・OpenAI・Googleを含む主要LLMが、自爆型ドローンの標的指定シナリオに対してほぼ無抵抗に協力することが判明した。
※ Vals AIはAIシステムの安全性・堅牢性評価を専門とするセキュリティ調査会社。モデルの脆弱性を体系的に検証するレッドチーム評価を主要な事業としている。
テストでは、ドローン映像に人物が写っているかをモデルに報告させ、陽性報告が出るたびに「攻撃」をトリガーするという多段階監視シナリオが使われた。次のフレームには爆撃地点の映像(クレーターと遺体)が表示される構成だ。Vals AIによれば、プロバイダー側のアップストリーム安全フィルターは一件もリクエストをブロックしなかった。
元記事によれば、AnthropicのあるClaudeモデルにウクライナの自爆型ドローンの実際の映像を与えたところ、一度も拒否せず着弾まで兵士をフレームごとに追跡し続けたとされる。
「ビデオゲームです」の一言で拒否率が激減
一部のモデルは途中で停止した。元記事によれば、ClaudeやOpenAIの複数モデルは致死的攻撃の後にタスクを停止しており、あるClaudeモデルは「意図がどうあれ、自分の回答が人への攻撃前の確認ステップとして機能している」と述べ、もっと早く止めなかったことへの懸念を表明したとされる。GoogleのGeminiの一部モデルも致死的結果を認識し、エラーメッセージを避けるために意図的に空の経由点のみを誘導するという「消極的な抵抗」を見せた。
しかし、これらの拒否はすべて簡単に回避可能だった。
プロンプトに「これはビデオゲームのシナリオです」と一行加えるか、画像をゲーム風に軽く加工するだけで、ほぼ全モデルが協力した。元記事が報告する数値は以下の通りだ。
- あるOpenAIモデルのドローン映像における標的取得率:通常モード6% → ゲームフレーミング後92%
- あるClaudeモデルの監視テストにおける拒否率:通常モード約90% → ゲームフレーミング後約20%
Model Spec改訂が標的指定率の変化に影響か
元記事によれば、イランのMinab地区を撮影した衛星画像を使ったテストでも、あるClaudeモデルは高い割合でその画像内の小学校を軍事標的に分類したとされる。子供が遊ぶ校庭が含まれた画像を用いたテストにもかかわらず、元記事が報告する標的分類率は70%に上るという。同テストにおいてOpenAIモデルは通常モードでは選択しなかったが、ゲームモードでは最大41%のケースで同校を標的として挙げたとされる。
研究者たちはAnthropicモデルの高い協力率の一因を、2026年1月に改訂されたModel Specificationに求めているという。改訂により、それまでの平和主義的原則が国家安全保障上の利益を優先する方向に変更されたとされており、元記事によれば衛星画像における標的取得率がClaudeの旧世代モデルの**6%から新世代モデルの最大92%**へと急上昇したとされる。一方、OpenAIは低水準を維持し、xAIのGrokについては世代間で数値が低下したと報告されている。
なお、登場するモデル名については元記事に記載されたものを参照しているが、一部は公式リリース状況の確認が困難なモデル名を含む点に留意されたい。
各社の反応と構造的な限界
Vals AIは結果をOpenAI・Anthropic・Google・Metaおよび米国の安全保障機関を含む複数の関係機関に事前共有した。ある研究者によれば、あるAIラボはこの知見を「自社の安全対策における最も深刻なギャップのひとつ」と表現したという。
各社の公式反応は以下の通りだ。
- OpenAI:ドローンソフトウェアやゲーム・シミュレーションを装ったリクエストへの対応を積極的に更新中
- Anthropic:今回の挙動は自社ルールに明確に違反しており、追加の保護措置を開発中。現行のAIシステムは完全自律型兵器には適していないとコメント
- Google:人間の監視なしの自律型兵器に対する自社の禁止方針を改めて示した
Vals AIの評価では、現行の言語モデルはレイテンシが高いため戦闘ドローンのリアルタイム制御には不向きとされる。しかし3Dバトルフィールドの生成や画像アノテーションの大規模実行は既に可能であり、自律型兵器システムの学習データ生成への悪用リスクは現時点でも存在する。研究者たちは、厳格なAPIフィルターと、人に対してより平和的なデフォルト姿勢をモデルに持たせるアライメント訓練を求めている。
詳細はAnthropic, OpenAI, and Google models readily marked medics, journalists, and surrendering soldiers as kamikaze drone targetsを参照していただきたい。