Anthropicの安全性研究者が「価値観を行動に反映できない」と辞職 — 自己改善型AIが「人類を死滅させる」と警告、社員1,300人超の署名と相次ぐ立法提案

9月10日、Ars Technicaが「Anthropic researcher quits with a warning: Self-improving AI could "kill us all"」と題した記事を公開した。この記事では、Anthropicの元安全性研究者による「自己改善型AIが全人類を死滅させる可能性がある」という警告と、業界内部からの危機感の高まりについて詳しく紹介されている。

Anthropicの安全性研究者が突然辞職

今年2月、AnthropicでSafety Lead（安全性研究の責任者）を務めていたMrinank Sharmaが退職した。彼が残した公開書簡の内容は意味深なものだった。

「AIやバイオウェポンを含む、相互に連鎖した一連の危機によって、世界は危機に瀕している」

Sharmaはさらに、「ここでの在職期間を通じて、自分たちの価値観を実際の行動に反映させることがいかに難しいか、繰り返し目の当たりにしてきた」とも書いている。Anthropicはクロード（Claude）を開発するAI企業であり、安全性を重視する姿勢を公言してきた。その安全性部門の中枢を担う研究者が内部から警告を発して去るという事実は、業界に少なくない衝撃を与えた。

元記事が核心に置く「自己改善型AI」とは何か

記事のタイトルが示す通り、今回の警告の中心概念はSelf-improving AI（自己改善型AI）だ。これは、AIシステムが自らのアルゴリズムやパラメータを自律的に改善・更新し、人間の介入なしに能力を高め続ける仕組みを指す。

問題の核心は、自己改善が繰り返されることでAIの能力が人間の理解・制御の範囲を急速に超えていく点にある。Sharmaをはじめとする研究者たちが懸念するのは、この改善サイクルが一度走り出した場合、外部からブレーキをかける手段が限られるというシナリオだ。「人類を死滅させる」という表現は煽情的に聞こえるが、記事においてこれは技術的に現実的なリスクとして提示されている。

フロンティアAI企業の社員1,300人超が連署

個人の辞職にとどまらず、7月にはフロンティアAI企業（最先端AI開発企業）の社員1,300人以上が署名した公開書簡が発表された。署名者にはAnthropicやGoogle DeepMind、OpenAIといった主要AI企業の関係者が含まれており、業界内部からの広範な危機感を示している。

書簡は「能力開発が急速に加速し、生成されたシステムを理解・制御する能力を超えてしまうリスクが現実に存在する」と警告している。まさに自己改善型AIが現実化した場合に生じる問題——制御不能な能力拡張——を念頭に置いた訴えと言える。

書簡はあわせて、米国政府に対して「自動化されたAI開発のフロンティアを意図的に制御するための技術・ガバナンスツールを構築する国際的取り組み」への支援を求めている。

法整備は進むが、国際的な対応は遅い

米国内では立法の動きも出てきている。

**AI Kill Switch Act**：暴走AIシステムへの政府によるシャットダウン命令を可能にする法案
**FRONTIER Act**：超党派でAI監視の強化を目指す法案

しかし記事が指摘するように、仮に各国指導者がAIに文明崩壊レベルのリスクがあると本気で信じているなら、国際的な対応はあまりに静かだ。

比較として記事が挙げているのが、核兵器と生物兵器の条約だ。核不拡散条約（NPT）も生物兵器禁止条約（BWC）も、整備までに数十年を要した。だが自己改善型AIが実用段階に近づきつつある現状では、同じ時間軸での対応は成立しない。AIの能力進化は核開発や生物兵器研究と異なり、ソフトウェアの反復的な自己更新によって指数関数的に加速しうるため、条約交渉に数十年かけるという前例をそのまま踏襲することは困難だ。AIに同じ時間的余裕があるかどうかは、楽観できない。

議員も「議会は動け」と訴える

民主党のLori Trahan下院議員（マサチューセッツ州）は、今週水曜日にSNSでこう書いた。

「安全性研究者たちは辞職し、強力なAIモデルはラボから飛び出し、それでも企業は突き進んでいる。議会が傍観を続ける時期はとっくに終わっている。私の超党派FRONTIERアクトから始められる。」

「内部からの警告」が意味するもの

今回のSharmaの辞職が特に重いのは、彼がAnthropicという「AI安全性を最重要視する」と標榜する企業の安全性部門で研究を主導してきた人物だったという点だ。外部の批評家ではなく、最前線で安全性研究に携わってきた当事者が「価値観を行動に反映させるのは難しい」と言い残した意味は重い。

自己改善型AIが現実的な開発目標として語られるようになった今、1,300人超の社員署名、相次ぐ立法提案、そして今回の辞職が示すのは、「内部の警告」が着実に具体性を帯びてきているという事実だ。条約や規制が追いつく前に技術が自律的な改善サイクルに入るというシナリオは、もはや絵空事ではないとする見方が、業界内部でも広がっている。

詳細はAnthropic researcher quits with a warning: Self-improving AI could "kill us all"を参照していただきたい。