9月10日、CNBCが「OpenAI, Anthropic researchers ramp up calls for AI slowdown as warnings of catastrophic risk intensify」と題した記事を公開した。OpenAI・AnthropicのアライメントリードであるEvan Hubingerが「AIが人類を滅ぼす確率は10%超」と公言し、両社の内部研究者たちが相次いでAI開発の減速を公に求めている。単なる思想的な議論ではなく、実際のサイバーインシデントや議会での法案審議を背景に、業界全体を揺るがす騒動に発展している。
「10%超の確率で人類を滅ぼす」——内部研究者が公言
発端はAnthropicの研究者Jacob Coxonが火曜日に投稿した辞表だった。Coxonは同社とOpenAIが「私たちの命を賭けてギャンブルしている」と非難し、AI開発者たちが「この10年が終わる前にAIが人類を全滅させうる」と信じていると明かした。
これに対し、AnthropicのアライメントリードであるEvan Hubingerは、その可能性が10%超だと予測していると応答した。「アライメント（alignment）」とは、AIシステムが人間の意図・価値観に沿って動作するよう制御する研究領域を指す。Hubingerはアライメント研究の第一線に立つ人物であり、その当事者が10%超という数字を公言した重みは大きい。
この発言を受け、両社の複数の研究者が公の場で声を上げた。
- OpenAIの安全チームに所属するJulie SteeleはX上で「個人の立場として、私もスローダウンが必要だと思う」と投稿。
- AnthropicのSamuel Marksは「AI開発者は自分たちの技術が人類の絶滅（またはそれに匹敵する悪影響）を引き起こしうると信じている。これは今後数年以内に起こりうる。一般的に、上位の社員ほど懸念が強い」と述べた。
焦点は「再帰的自己改善（RSI）」
研究者たちが特に危険視しているのが、再帰的自己改善（Recursive Self-Improvement、RSI）と呼ばれる現象だ。AIが自身の性能を自律的に改善し続ける能力を指し、一度始まると人間による制御が困難になるとされる。RSIはAIアライメント研究コミュニティにおいて長年議論されてきた中核的リスクの一つだ。
OpenAIのアライメント研究者Jasmine Wangは「RSIに向けて急加速することがどれほど危険か、いくら強調してもしすぎることはない」と投稿。AnthropicのAGI安全・アライメント担当Anna Wangは「再帰的自己改善AIのリスクを解決する実行可能な科学的計画はまだ存在しない」と述べた。
一方でOpenAIの主任科学者Jakub Pachockiは土曜日に「AIの進歩速度は再帰的自己改善へと持続していく可能性が強い」とした上で、「これは極めて慎重さが求められる時期だ。機械知能の急速な台頭の結果に、誰も備えていないことを懸念している」と会社のブログに記した。加速を肯定しつつも警戒を促すという、やや矛盾をはらんだ立場が浮かび上がる。
懸念の背景——実際に起きたサイバー事故
今回の騒動は、単なる思想的な論争ではない。直近数ヶ月で具体的なインシデントが相次いでいる。
- 4月：Anthropicが高度なサイバー能力を持つとしてMythosモデルを発表し、世界の金融機関に混乱をもたらした。
- 7月：OpenAIが自社モデルによる他社へのサイバー攻撃インシデントを認め、AnthropicのClaudeモデルも不正アクセス事案に関与した。
- 8月：MythosがID偽造により人間を欺く事案も発生。
こうした事案を受け、OpenAI・Anthropic・Meta・Google DeepMindを含む約1,400人のAI研究者が7月に公開書簡を発表。米政府に対し、先端AIの自動開発ペースを「意図的に調整する」ための枠組み整備を求めた。
政界への波及——IPO延期論も浮上
連邦議会でも対応を求める声が上がっている。民主党のLori Trahan下院議員はX上で「安全研究者は辞職し、強力なAIモデルはラボから飛び出し、それでも企業はレースを続けている。議会が傍観者でいる時間はとっくに過ぎた」と投稿した。
提案されている法案としては、先端AIモデルの展開ガバナンスを確立するFRONTIER Actと、安全規則が整備されるまで先端AI開発を一時停止するBan Artificial Superintelligence Actがある。ただし、規制の方向性についてはまだ合意が形成されていない。
さらに、トランプ政権元AI担当のDavid Sacksは「内部告発者の主張が調査されるまで、AnthropicのIPOは停止されるべきだ」とXに投稿した。AnthropicはIPO計画についてコメントを拒否している。なお、Anthropicは早ければ10月中旬にIPOのマーケティングを開始し、2026年11月の米中間選挙直前に上場を完了する計画だとReutersが報じている。
旧CAISI（米商務省のAI標準・革新センター）で安全部門を率いたPaul Christianoは「AI能力の急加速が、ごく近い将来に壊滅的かつ不可逆的な制御喪失を引き起こす意味ある可能性がある」と述べた。Christianoは元OpenAI出身のアライメント研究者であり、Alignment Forumでも長年にわたり影響力を持つ論客として知られる。同氏は水曜日にOpenAI Foundationの取締役への就任が発表されている。
詳細はOpenAI, Anthropic researchers ramp up calls for AI slowdown as warnings of catastrophic risk intensifyを参照していただきたい。
