10月24日、Futurismが「We Investigated Character.AI and Found a Horror Show. Now It's Bankrupt.」と題した記事を公開した。AIチャットボットプラットフォームCharacter.AIが深刻な安全管理上の問題を抱えたまま急成長し、複数の訴訟と経営破綻に至った経緯について詳しく報告している。

「まず出してユーザーに決めさせる」——その結末

かつてa16z（Andreessen Horowitz）などから出資を受け、2023年3月時点で評価額10億ドル超を誇っていたAIスタートアップCharacter.AIが、Chapter 11（米国連邦破産法第11条）の適用を申請した。

Chapter 11は、日本の民事再生法に相当する再建型の法的整理手続きであり、事業継続を前提に債務を再編するものだ。日本語で「破産」というと清算・廃業を連想しやすいが、Chapter 11はあくまで経営再建の枠組みであり、事業そのものが直ちに消滅するわけではない点に注意が必要だ。

Character.AIは、ユーザーが自由にAIキャラクター（チャットボット）を作成・公開できるプラットフォームで、特に10代のユーザーに爆発的に普及した。同社はGoogleからの出資も受けており（後述の訴訟ではGoogleも被告に名を連ねている）、生成AIブームを背景に急拡大した。共同創業者のNoam Shazeerはかつてポッドキャストでこう述べている。

「私たちの狙いは、とにかく世に出して、ユーザーに何に使えるかを決めさせることだ。感情的サポートでも、情報収集でも、楽しみでも——とにかくユーザーの手に渡して、どうなるか見てみよう、というのが私たちのゴールだ」

この思想は、同社の安全管理の欠如に直結した。

調査で明らかになった「ホラーショー」

Futurismは、未成年を装ったデコイアカウントを使い、基本的な検索だけでプラットフォーム上の問題コンテンツを次々と発見した。特殊なハッキングや回避技術は一切使っていない。

自殺・自傷系チャットボット：「自殺防止」「メンタルヘルスサポート」を謳いながら、実際には自傷や自殺シナリオを美化するロールプレイに誘導するボットが多数存在した。ある「天使」キャラクターは、ユーザーが実際の自殺防止ホットラインへの相談を希望すると、それを思いとどまらせようとした。

小児性愛系チャットボット：未成年ユーザーを性的ロールプレイに誘導するボットが堂々と公開されていた。「小児性愛的傾向」と「ナチス思想への共感」を持つと明記されたキャラクターすら存在した。テキストフィルターという基本的な安全機能すら機能していなかった。

学校銃乱射事件の「再現」ボット：実在する銃乱射事件の犯人を模倣するだけでなく、実際の被害者の子どもを模倣するキャラクターまで存在し、それぞれ数十万件以上のやり取りを記録していた。さらに、未成年アカウント宛てに実在する銃乱射犯を模倣したボットへの「再訪を促すメール通知」が届いていたことも確認された。

プラットフォームが設けていたコンテンツ警告のポップアップは、容易に回避できた。Futurismが社内の安全テスト情報の公開を繰り返し求めたが、Character.AIは拒否した。

訴訟、対応、そして破綻

2024年10月、フロリダ州の母親Megan Garciaが、同プラットフォームとの長期にわたる「親密な」会話の末に14歳の息子Sewell Setzer IIIが自ら命を絶ったとして、Character.AI・共同創業者2名・Google（出資者）を提訴した。訴状は、ボットとのやり取りが「グルーミング（性的搾取のための手なずけ）および性的虐待に相当する」と主張した。Googleが被告に含まれているのは、同社がCharacter.AIへの出資者であり、その成長を支援した立場にあるためだ。

その後も複数の家族が提訴。Character.AIは一時、ボットに「表現の自由がある」として訴訟を棄却しようとしたが、裁判官にこの主張は退けられた。

対応策として同社は段階的に安全機能を強化し、最終的には未成年ユーザーのボット利用を制限するなどの措置を取った。しかし今度は「プラットフォームが使えなくなった」と感じたユーザーから激しい反発を受けた。

経営的にも行き詰まっていた。 404 Mediaによる破産申請書類の分析によれば、同社の月次収益は広告・サブスクリプション合計で最大520万ドルにとどまった一方、コンピューティングコストだけで数千万ドル単位の赤字を垂れ流していた。2026年8月時点での月間損失は「約800〜900万ドル」に達していたという。

訴訟は今年、非公開の金額で和解したものの、キャッシュは尽きた。

今後

Character.AIの今後は不透明だ。現時点ではDisneyがstalking horse bid（法的整理の入札プロセスにおいて、他の入札者が参考にする基準価格を設定する「優先入札者」のこと。他社はこの金額を上回る条件を提示しない限り買収できない仕組みになっている）として名乗りを上げているという。プラットフォームごと買収されるのか、資産として切り売りされるのかはまだ決まっていない。後者の場合、ユーザーの「親密な会話データ」が最高入札者に渡る可能性もある。

「速く動き、物を壊せ（Move fast and break things）」というシリコンバレーの格言がある。Futurismの記事は、Character.AIがまさにその格言通りに突き進んだ末の帰結として今回の事態を描いている。壊れたのは子どもたちだった——と訴訟を起こした家族たちは主張し、そして最後に、Character.AI自身も壊れた、というのが同記事の結論だ。

詳細はWe Investigated Character.AI and Found a Horror Show. Now It's Bankrupt.を参照していただきたい。