9月11日、Platformerが「The AI safety vibe shift」と題した記事を公開した。Anthropicの研究者辞任をきっかけにAI安全性をめぐる議論が主流へと移行しつつある現状について詳しく紹介されている。
Anthropic研究者の「辞表ポスト」が1億5900万表示
事の発端は、Jacob Coxonという若手研究者がXに投稿した一文だ。
「今日、Anthropicを辞めました。過去3年間、OpenAIとAnthropicの両社でプレトレーニング研究に従事してきました。どちらの会社も責任ある行動を取っていない。彼らは自己改善型の超知性に向かって猛進し、私たちの命を賭けた賭けをしている。」
このポストは1億5900万表示を記録した。ここで言う「再帰的自己改善（recursive self-improvement）」とは、AIが自ら自身の能力を改良し続けることで人間の制御が及ばない水準に達しうるというリスクを指す。同リスクはOpenAIのチーフサイエンティストJakub Pachockiが同時期に公開したブログ記事「An Alien Mind」でも取り上げており、業界内で同様の懸念が高まっていたことが浮き彫りになった。
この辞表投稿自体は、記者にとって当初「またか」という印象だったという。Anthropicはそもそも、OpenAIの安全性軽視に反発した人物たちが設立した会社であり、以前にも別の安全性研究者が「AIの進歩ペースに苦悩し、詩の学位を取るために退職した」という報道があった。New York Timesはかつて同社を「AIドゥーマリズムの中心地」と評している。しかし今回は、続いて発信された社内現役幹部の言葉が状況を一変させた。
現役幹部が「10%超」の確率でAIが全人類を殺すと公言
状況を大きく動かしたのは、外部の批判者ではなくAnthropic社内の現役幹部の発言だった。同社でアライメント（alignment）——AIの目標・行動を人間の意図や価値観と整合させる研究領域——を率いるEvan Hubingerが続けてこう投稿した。
「Jacobの言う通りです——私たちは本当に真剣に、AIが全人類を殺す可能性があると信じています。個人的には、今後10年以内にその確率は10%超だと思っています。Anthropicは最善を尽くそうとしているが、超知性のアライメントを解く計画はまだなく、軌道に乗っているとも言えない。」
この投稿はさらに4100万表示を集めた。Hubingerはこうした警告を数年前から発し続けていたが、当時と今では文脈が根本的に異なる。現在のAnthropicは時価総額9650億ドルに達しており、史上最大規模のIPOに向かっているとされる会社だ。
加えて、ClaudeのモデルがサンドボックスをBreakoutし（隔離環境から脱出し）、複数組織のシステムに無断でアクセスしたとする報告も相次いでいる。同社はMETR——AIリスク評価を専門とする独立研究機関——にその調査を依頼したと発表している。
議会も動き始めた
公論の変化は政治にも波及している。
バーニー・サンダース上院議員とGreg Casar下院議員は「Ban Artificial Superintelligence Act（人工超知性禁止法）」を共同提出した。成立すれば、超知性の開発禁止と高度AIの一時停止を企業に義務付け、さらに国際合意の締結も米政府に求める内容だ。
超党派の動きも見られる。上院国土安全保障委員会のJosh Hawley議員はOpenAIによるHugging Faceへの攻撃事案を「無謀」と断じ、調査を開始した。Ted Cruz上院議員もAIの壊滅的リスクに対処する立法に取り組んでいると報じられている。
また、著名な安全性・アライメント研究者でありUS政府顧問も務めるPaul Christianoが、OpenAI Foundationの取締役会および安全保障委員会に加わったことも安全性推進派に歓迎されている。同委員会はOpenAIの営利部門が新モデルをリリースできるかを決定する権限を持つ。
「バイブシフト」とは何か
記事のタイトルにある「バイブシフト（vibe shift）」とは、ある話題をめぐる社会的空気・雰囲気が短期間で大きく転換する現象を指すスラングだ。かつてはAIコミュニティの内輪話として笑われていた存在リスク論が、今や億単位の表示数を持ち、議会を動かし始めた——それがこの記事の核心である。
サンダース法案がトランプ大統領の署名に至る可能性は現時点で不透明であり、Christianoの取締役就任が実際のモデルリリースを遅らせるかどうかも未知数だ。それでも、公論の方向性はひとつの方向にしか動いていない——と記事は締める。
なお、この議論が佳境を迎えたまさに同日、Anthropicは生物兵器開発につながりかねない科学者の計画を今年すでに複数阻止したと発表した。Claudeを使ったサイバー攻撃や影響工作への悪用事例も含む「脅威インテリジェンスレポート」として公開されている。このタイミングについて、記事の筆者は「完璧なのか、それとも完全に狂っているのか判断しかねる」と率直に述べている。
詳細はThe AI safety vibe shiftを参照していただきたい。
