8月11日、Lars Danielが「Google And Meta Shipped AI Tools That Fake Evidence」と題した記事を公開した。GoogleとMetaがそれぞれ偽の証拠画像を生成できるAIツールを出荷し、公開後数日以内に撤収した——しかしロールバックはUIのフローを閉じただけであり、その能力は今もユーザーの手の届く場所に残っている。

Google Earthに画像生成機能が追加され、1日で撤回

7月下旬、GoogleはGoogle Earth（ウェブ版）に画像生成機能を追加した。ユーザーが地点を選択し「Create Image」をタップして「見たいものを何でも入力」すると、その場所の衛星・航空・3D画像をベースにしたフォトリアルな合成画像が生成される仕組みだ。

リリースから数時間以内に、研究者のHenk van Essがメキシコ国境での難民の様子とイランの核施設を生成してみせた。別の研究者はガザの病院に爆弾クレーターが生じた偽の災害画像を生成した。Googleはローンチ翌日に機能をロールバックし、「より強固なガードレールの実装に取り組む間」と説明した。

生成された画像はGoogle Earth本体の共有ベース画像を書き換えるわけではなく、AI生成であることを示すマーキングも付与されていた。しかしスクリーンショットや保存によって外部に流通することは防げず、実際にそれが起きた。

Metaも3週間前に同じことをやっていた

7月上旬、MetaはMuseという画像モデルと同時に、Instagramの公開アカウントをAI画像生成の参照素材として使える機能を追加した。アカウントオーナーへの通知はなく、公開の成人アカウントはデフォルトで参照対象に含まれていた。

同意・肖像権・非合意的な画像生成への懸念から約3日で実験は終了した。Metaは「この機能は的外れだった（missed the mark）」とコメントした。

「マーケティングのデモプロンプトは詐欺プロンプトでもある」

Lars Danielが記事で最も鋭く指摘しているのはこの点だ。

Googleは不動産レンダリングのユースケースを想定してPRした。「この湖畔の空き地にキャビンを追加して」というプロンプトは、保険請求の文脈では「この屋根に嵐の被害を追加して」になる。都市計画用の交差点のシミュレーションは、事故訴訟で「ドライバーの視界」を争う素材にもなる。

航空・衛星画像は法廷で土地境界の確認、事故再現、嵐被害の査定、刑事事件の現場地理といった用途に使われてきた実績がある。以前は、それらしい合成画像を作るには専門的な地理空間ツールや画像編集スキルが必要だった。今は1文のプロンプトで足りる。

デジタルフォレンジックツールを開発するAmped SoftwareのMartino Jerianは、Google Earthのロールバック後にLinkedInでこう問いかけた。

「これほど明白な悪用ポテンシャルを持つ機能が、なぜ設計・レビュー・承認プロセスを通過してしまうのか？」

ウォーターマークは機能したか

Googleはロールバック時、生成画像には同社の不可視ウォーターマーク技術「SynthID」によるAI生成マーキングが施されていたと説明した。SynthIDはGoogle DeepMindが開発した技術で、人間の目には見えない形でAI生成コンテンツに識別情報を埋め込むことを目的としている。

しかし研究者のTal HaginはガザのAI生成偽病院画像をGeminiに読み込ませ、SynthIDの検出を依頼した。Geminiの回答は「コンテンツがどのように生成されたかを示す信頼できるシグナルは検出されなかった」だった。

Futurismも独自にテストし、GeminiはそのAI生成画像に対して「Google AIで作られたか判断できない」と回答した。

これはSynthIDが機能しないことの証明ではないが、Googleの公開検証経路が、Google自身のEarthワークフローで生成した高リスク合成画像を確実に識別できなかったという事実を示している。

ロールバックしても能力は消えない

Google EarthのロールバックはUI上のフローを閉じただけだ。機能の背後にあるモデル「Nano Banana 2」（Googleが内部的に使用しているコードネームとされる）はGeminiで引き続き利用可能であり、ユーザーはGoogle Earthのスクリーンショットを含む任意の画像をアップロードし、自然言語でエディットを依頼できる。扉を閉めた。部屋はまだある。

Lars Danielはこう締めている。

「今この瞬間も、同じく明白なデュアルユースを持つ機能が、デモの出来栄えを根拠に承認プロセスを通過しようとしている。リリースされ、誰かがマーケティングプロンプトの詐欺版を数時間以内に入力し、デジタルフォレンジックの専門家が設計会議で指摘できたことを企業は公開の場で学ぶことになる。機能は元に戻せる。世界が何を偽造できるか・何を信用できるかについて学んだことは、元に戻せない。」

今回のパターンは今に始まったことではない。Lars Danielは1月に、xAIが画像ツールで未成年者の性的描写を生成できる状態のまま出荷し、その後公開反発を受けてアクセス制限と制御調整を行った事例をすでに報告している。出荷→公開反発→撤収または制限の繰り返しが常態化している。

詳細はGoogle And Meta Shipped AI Tools That Fake Evidenceを参照していただきたい。