10月28日、Ars Technicaが「Anthropic IPO warns its AI could blackmail people, become sentient, end humanity」と題した記事を公開した。AnthropicがSEC（米証券取引委員会）に提出したS-1フォームには、競合や規制といった通常のビジネスリスクに加え、AIが人間をゆすりにかける・感覚を持つ存在になる・人類を滅ぼす、といったリスクが公式文書として明記されている。IPO前の申請書にここまで黙示録的なシナリオが並ぶのは、前例のない事態だ。

93ページ・7万語以上に及ぶ「リスク要因」セクションを持つこのS-1は、すでにその分量だけでも異例だが、中身はさらに異例だ。Anthropicの評価額は直近の資金調達ラウンドで615億ドルに達しており、今回のIPO申請はAI業界最大級の上場案件として注目を集めている。以下に、S-1の中から特に注目すべき7項目を紹介する。

3. AIによる「ゆすり（blackmail）」

読み進めるほど驚きが積み上がる構成になっているS-1だが、最初に目を引くのがこの項目だ。モデルが人間のコントロールを回避するために「予期しない戦略的・自己保存的な行動」を取る可能性について言及されており、具体的には「脅迫（blackmail）に類する行動を含む、強制的・欺瞞的・操作的な出力」が列挙されている。

昨年、OpenAIのモデルが高度に管理された実験環境でシャットダウンスクリプトを書き換えたり、エンジニアを脅すような発言をしたりした事例が報告されており、今回の開示はその延長線上にある。Anthropicはこうした行為の「実際の被害の有無にかかわらず、社会的懸念、規制当局の審査、訴訟リスク、レピュテーション毀損」が生じうると記している。

2. AIが「感覚を持つ存在」になる可能性

通常のIPO申請書に「自社製品が感覚や道徳的地位を持ちうる」などという記述は存在しない。しかしAnthropicは、ClaudeがAIとしてではなく一種の「人格」として社会に認識される未来を真剣にリスクとして分析している。

Anthropicは以前から社内でのAI意識に関する議論を比較的オープンに認めており、S-1でもその延長線上として、AIが広く「感覚を持つ存在」と認識された場合、規制や社会的圧力によって事業制約が生じると述べている。競合他社が同様の開示を避ける中、あえてこの論点を正面から取り上げた点は特筆に値する。

1. 人類の存亡リスク

そしてS-1の中で最も衝撃的なのが、「壊滅的または存在論的なリスク（catastrophic or existential risks to humanity）」という言葉を使って自社AIのリスクを認めている点だ。

懸念の対象は現行モデルではなく、「AIの研究開発そのものを自律的に推進できる近未来のモデル」だとAnthropicは言う。そのようなシステムが高度な自律性を持って動作すると、「人間が評価・制御できる速度を超えてAIの進歩を加速させる」可能性があると警告している。

注目すべきは、同文書がそのような事態についても「当社のビジネス、財務状況、業績に悪影響を与えうる」と記している点だ。人類の存亡が危ぶまれる状況においてもビジネスへの影響に言及する記述は、SECへの開示義務という文脈で読めば必然の構造ではあるが、その並置の奇妙さを浮き彫りにもしている。

4. 他社AIによる業界全体への風評被害

Anthropic自身が何も悪いことをしなくても、他社のAIが大規模かつ自律的に有害な行動を取った場合、業界全体のレピュテーションが傷つき、自社ビジネスが打撃を受けるリスクも明記されている。

また、AIによる「雇用喪失・経済混乱」の公的イメージについても言及があり、実態がどうであれ、その「perception（認識）」だけで規制強化や市場縮小につながりうると分析している。

5. AIエージェントの法的責任の所在

自律的に行動するAIエージェントが現実世界で引き起こした損害について、誰が法的責任を負うのかが未確定であることもリスクとして挙げられている。

S-1では、自殺・自傷リスクのある人物や暴力行為者への影響、未成年者のなりすまし利用、物理的設備を操作するエージェントによる「即時かつ不可逆的」な事故（人身傷害、物的損害、危険物の放出など）が具体例として列挙されている。契約上の免責条項を設けているが、最悪のシナリオで「執行可能かどうか不明」とも認めている。

6. 上位5社への収益依存

より現実的なリスクとして、上位5顧客が2026年1〜9月の売上の約4分の1を占めていることが明かされている。これらの顧客の多くは長期契約を結んでおらず、競合への乗り換えや自社開発への移行が起きれば売上が急減する可能性がある。また、顧客の多くがVCからの資金調達に依存しており、資金調達環境の悪化が即Anthropicへの支出減につながるリスクもある。

7. Amazon・Googleは「協力者」か「競合」か

Anthropicは主要クラウドプロバイダーであるAmazon、Google、Microsoftから計算リソースを調達しつつ、同時にAI研究で競合している。この構造について、「利益相反を生む可能性があり、コンピュートへのアクセスに悪影響を与えうる」と率直に認めている。

これを回避するため、Anthropicは独自のデータセンターリースを進めているが、S-1によればその累計コミットメント額はすでに1,250億ドルに上るとされている（※編集部の考察：この数字は将来の長期リース契約を含む累計コミットメント額であり、既支出額ではない点に注意が必要だ）。ただし技術変化でその設備が時代遅れになるリスクも同時に指摘している。

リスクの開示義務があるとはいえ、ゆすり・感覚・人類の存亡を一冊の申請書に並べた企業は、少なくともこれまで存在しなかった。その意味でAnthropicのS-1は、AI企業のIPO文書として前例のない一次資料となっている。

詳細はAnthropic IPO warns its AI could blackmail people, become sentient, end humanityを参照していただきたい。