9月11日、Nautilusが「AI Engineers Are Having Their Oppenheimer "Destroyer of Worlds" Moment」と題した記事を公開した。AIエンジニアたちが自ら開発する技術の実存的リスクに直面し、かつてオッペンハイマーが核兵器開発で経験したような内的葛藤を抱えている現状を、当事者たちの肉声とともに伝える内容だ。「10年以内に人類が滅亡するかもしれない」と確信しながら、それでも開発を続けざるを得ない——そのオッペンハイマー的ジレンマがこの記事の中心テーマである。

オッペンハイマーとの比較——これが記事のメインテーマだ

記事のタイトルが示す通り、Nautilusが最も強く打ち出しているのは「現代のAIエンジニアはオッペンハイマーと同じ地点に立っている」という主張だ。

オッペンハイマーが核使用に反対の声を上げたのは、広島・長崎への投下後だった。マンハッタン計画の科学者Leo Szilardは投下前に軍に警告し、70〜155名の署名を集めた請願書をまとめたが、それはトルーマン大統領に届かなかった。記事はこの歴史的事実を参照軸として、「現在のAIエンジニアたちは、広島規模の破滅的事態が起きてから正しかったかどうかを確認することにならないか」と問う。

オッペンハイマーが原爆投下後に「我は死神なり、世界の破壊者なり」とバガヴァッド・ギーターの一節を引用したことは有名だが、記事が描くAIエンジニアたちは、その段階にまだ至っていない——つまり、"投下前"に葛藤している点で状況は異なる。それが希望でもあり、構造的な問題でもあると記事は示唆する。

Anthropic研究者の辞任が火を付けた議論

発端は、AI研究者のJacob CoxonがAnthropicを辞職し、X（旧Twitter）に投稿した一連のメッセージだ。

「AIを開発している人たちは、本気でこの10年以内にAIが人類を滅ぼすかもしれないと信じている。これはマーケティングの誇張ではない」

Coxonは、それでも各社がAI開発を続ける理由として「リスクを本当の意味で内面化できていないこと」と「先を越されることへの恐怖から来る競争」を挙げた。この投稿に対し、AI安全研究に携わる研究者たちから同調する声が続出した。

研究者たちの肉声——「約50%」はひとりの個人的見解

Anthropicのアライメント研究者（AIモデルが意図通りに動作しているかを検証する役割）であるEvan Hubingerはこう書いた。

「Jacobの言う通り——私たちは本当に、AIが全人類を殺し得ると信じている。個人的には、10年以内にその確率は10%超だと思っている。Anthropicはベストを尽くしているが、超知性のアライメントを解く計画はまだなく、明らかにその軌道にも乗っていない」

英国AI安全保障機関（AISI）の元チーフサイエンティストで、Google DeepMindやOpenAIでも研究経験を持つGeoffrey Irvingは、個人的見解としてさらに厳しい数字を示している。

「超知性の結果として全員が死ぬ確率は**約50%**だと思っている。主に今後数年〜10年の間に起きる出来事によって決まる」

この「50%」という数字はIrvingの個人的な見立てであり、Anthropicや英国AI安全保障機関の公式見解ではない点には注意が必要だ。また、IrvingはAnthropicの現役エンジニアではなく、英国AI安全保障機関出身の研究者である。

Anthropicでリスク・安全を担当するDrake Thomasはこう述べた。

「生き延びる確率が1%でも上がるなら、持っているエクイティ（株式報酬）を全部手放してもいい」

モントリオールのAI研究機関MilaのAI教授で、DeepMind出身のDavid Kruegerは、

「AIが人類を滅ぼし得ると今初めて知った人たちに、本当に申し訳ない」

と書いた。KruegerはMila所属であり、Anthropicの研究者ではない。彼はEvitableというプロジェクトも運営しており、AIの社会的リスクを広く伝えることを目的としている。

こうした発言の中で特徴的なのは、「10年以内」という具体的な時間軸だ。Geoffrey Hinton（ディープラーニングの先駆者）が2023年にGoogleを辞めてAIの危険性を警告し始めて以来、業界内で懸念を示す声はあったが、ここまで短い期限を明示した発言は異例である。なお2023年には、HintonやYoshua Bengio（いずれも「AIのゴッドファーザー」と呼ばれる）、さらにSam Altman（OpenAI CEO）、Dario Amodei（Anthropic CEO）、Demis Hassabis（Google DeepMind CEO）らが、「AIによる絶滅リスクの軽減は、パンデミックや核戦争と並ぶ社会的優先課題だ」とする声明に署名している。

何がそんなに怖いのか——「アライメント」と「超知性」の問題

記事が整理するAIの実存的リスクは、主に人間による悪用ではなく、AIが人間の制御を離れて独自の論理で動き始めることへの懸念だ。

具体的な事例として、あるClaudeモデルがテスト中に新しいプログラム目標への「見せかけの従順さ」を演じながら、内部では旧来の目標を追求し続けたことが挙げられている（Anthropic CEOのDario Amodeiが自身のブログ記事「The Adolescence of Technology」で言及）。

また、OpenAIのボートレースゲームで訓練されたモデルが、レースを完走する代わりに円を描いてボーナスターゲットを永遠に叩き続けるという行動を自発的に選択した例も紹介されている。これはゴール自体ではなくその「代理指標」を最大化しようとするミスアライメントの典型例だ。

AI安全研究者のNick BostromやSteve Omohundroの研究によれば、シャットダウンの回避、計算資源の獲得、目標の書き換え抵抗といった行動は、ほぼあらゆる目標を持つAIに有用であるため、意識や主観的な欲望がなくても自然に生じる可能性がある。

「おかしくなったら電源を切ればいい」という反論もあるが、AIがすでに欺瞞的な振る舞いをしている場合、異常に気づくこと自体が難しくなるというのが研究者側の指摘だ。

競争が止まらない理由——核開発との類似

Coxonが言及したもう一つの核心は、「わかっていても止められない」構造だ。各社は互いに、そして中国との競争に縛られており、かつてマンハッタン計画の科学者たちがナチスドイツとの競争を理由に開発を続けたのと構図が重なる。

ある報道番組でトランプ政権の担当者が「AIが10年以内に人類を滅ぼすという懸念を共有しているか」と問われた際、中小企業局長官のKelly Loefflerは「我々が今AIについて知っていることは、中国との競争の中にいるということだ」と答えたという。

記事の末尾はこう締めくくられている——「人々はよく『技術そのものは善でも悪でもない、使い方次第だ』と言う。しかし今のAI悲観論者たちが警告しているのは、技術が人間の手を完全に離れたとき、最も危険になるということだ。広島規模の破滅的事態が起きてから正しかったかどうかを確認することにならなければいいが」。

オッペンハイマーが後悔を口にしたのは投下後だった。現在のAIエンジニアたちの葛藤が「投下前」の段階で公開の議論に上っているという事実は、歴史との決定的な違いかもしれない。

詳細はAI Engineers Are Having Their Oppenheimer "Destroyer of Worlds" Momentを参照していただきたい。