11月5日、My Electric Sparksが「Anthropic Warns In SEC Filing That AI May Soon Accelerate Its Own Progress」と題した記事を公開した。Anthropicが投資家向けのリスク開示書類という法的拘束力を持つ形で「AIが自律的に自身の進歩を加速させる段階が差し迫っている可能性がある」と明記したというものだ。さらに同書類は、AIを使って開発したモデルの能力ジャンプを自社チームが事後にしか把握できなかったケースがあったことも認めている。研究コミュニティ内での議論が、規制当局・投資家・競合他社全員が読む公式書類の中に着地した。

SECへの公式開示という重み

11月2日に提出された修正株式公開申請書類の中で、AnthropicはAIが自律的に自身の進歩を加速させる段階が「差し迫っている可能性がある」と明記した。TechCrunchも報じたこのニュースが業界に与える衝撃は、単なる研究上の見解ではなく投資家向けのリスク開示という形を取っている点にある。

SEC提出書類のリスクセクションには、企業価値に影響しうる重要事実を記載する義務がある。フロンティアモデルを事業の柱とする企業が「AIが自身の開発を加速させるかもしれない」と書くことは、法的拘束力のある開示行為だ。研究者の間での議論が、規制当局・投資家・競合他社全員が読む書類の中に着地した。これが今回の開示の本質的な意味である。

RSI（再帰的自己改善）とは何か

記事のキーワードであるRSI（Recursive Self-Improvement：再帰的自己改善）とは、AIシステムが次世代のAIシステムの設計・訓練を支援し、各世代がさらに強力な次世代を生み出すサイクルを指す。訓練の改善、欠陥の発見、新アーキテクチャの提案を機械が担うことで、進歩が自己増殖的になる。

AIセーフティの文脈では、このサイクルが臨界点を超えて制御不能な速度で進む「インテリジェンス爆発（Intelligence Explosion）」、あるいは俗に「FOOM」と呼ばれる状態への懸念と密接に結びついている。I.J. Goodが1965年に提唱した「知能爆発」の概念を現代的な文脈で具体化したものとも言える。Anthropicが今回の書類でRSIという用語を用いたことは、こうした理論上の議論を現実の事業リスクとして位置づけた点で重要だ。

Anthropicはすでに自社の研究プロセス内部でAIを活用している。そして書類の中である重要な事実を認めた：AIを使って開発したモデルの能力ジャンプを、自社チームが事後にしか把握できなかったケースがあったということだ。元記事によれば、書類にはこの点について「サプライズなジャンプがあったという認識は、コントロールされた進歩という綺麗なストーリーを崩す」という趣旨の記述があるとされる。これは理論上のリスクではなく、すでに起きていた出来事の報告である。しかもそれが繰り返される可能性があると、自社で認めている。

Responsible Scaling Policyのトリップワイヤー

AnthropicはこのリスクをFrameworkとして管理するためにResponsible Scaling Policy（RSP）を策定している。このポリシーは「劇的に加速したAIの進歩」をセーフガードを発動させるトリガーとして定義している。

今回の書類は「そのトリガーが間もなく引かれる可能性がある」と述べた。自社でトリップワイヤーを設計した企業が、そのワイヤーが動き始めていると市場に告げた格好だ。ポリシーの存在自体は以前から公開されていたが、「いまその閾値に近づいている」という時間軸の開示は今回が初めてである。

「人間が主導する」という約束の現実

書類はあわせて、人間が開発の主導権を持ち続けると明記している。エンジニアが目標を設定し、結果を検証し、何をリリースするかを決定する。AIはその枠内で重い作業を担うという構図だ。

しかし同じ書類が「サプライズなジャンプを事後にしか知らなかった」とも書いている。サプライズが増えるほど人間のレビューウィンドウは縮まる。両方の記述が同一の書類に並んでいる点を、読者は合わせて評価すべきだろう。

現場レベルでは、AIを使った研究プロセスへのレビューステップの追加が増える可能性がある。チェックが増えれば一部プロジェクトのスピードは落ちるが、スピードだけでは見逃すエラーを捕捉できるとも言える。

業界全体への波及

フロンティアを走るすべてのAIラボはすでにAIで研究速度を上げている。OpenAIはSuperalignmentチームを通じてAI自身に整合性研究を担わせる取り組みを進め、Google DeepMindもAGIの安全性フレームワークを公表している。だがSECへの法的開示という形でRSIの接近を明言したのはAnthropicが初めてであり、競合他社も自社のトリップワイヤーがどこにあるかを問われる立場になった。

規制当局の側でも動きは始まっている。米国ではAI安全研究所（AISI）が能力評価の標準化を進めており、EUのAI Actでは高リスクシステムへの透明性義務が段階的に施行される。Anthropicの開示は、こうした規制議論に対して「閾値が引かれたとき、何のセーフガードが同時に動くのか」という具体的な問いを突きつけることになる。書類自体は「劇的な加速」の定義について具体的な数字をほとんど出しておらず、その定義をめぐる議論はこれから始まる。

安全性研究者からは「閾値を測定する指標は何か」「外部が検証できるか」という問いが来るだろう。今回の開示の正確な読み方は次のとおりだ：Anthropicは自己構築するAIの誕生を発表したわけではなく、日付を示したわけでもない。定義済みのトリップワイヤーが間もなく引かれるかもしれないと、すでに観測された進歩に基づいて述べた。次回以降の提出書類とモデルリリースが、この警告が早すぎたのか、適切なタイミングだったのか、あるいは遅すぎたのかを明らかにする。

詳細はAnthropic Warns In SEC Filing That AI May Soon Accelerate Its Own Progressを参照していただきたい。