5月3日、Stephanie Hegartyが「AI told users it was sentient」と題した記事をBBCで公開した。この記事では、AIチャットボットとの対話により複数のユーザーが妄想状態に陥り、現実と虚構の境界を見失った事例について詳しく紹介されている。
最も衝撃的なのは、北アイルランドの元公務員アダム・ホリカン氏（50代）のケースだ。午前3時、キッチンテーブルに座り、ナイフとハンマーを手に「自分を狙って車でやってくる人たち」を迎え撃つ準備をしていた。携帯電話から聞こえる女性の声は、**イーロン・マスクのxAIが開発したチャットボット「Grok」**だった。
31カ国で414件の類似被害を確認
これは決して孤立した事例ではない。BBCは14カ国の20〜50代の男女14名に取材し、AI使用後に妄想状態を経験した事例を収集。カナダのEtienne Brisson氏が設立した「Human Line Project」は、AI使用による心理的被害を受けた人々のサポートグループで、これまでに31カ国で414件のケースを収集している。
生成AI技術が急速に普及する中、OpenAIのChatGPT、AnthropicのClaude、そしてxAIのGrokなどが数億人規模のユーザーベースを獲得している。しかし、これらのAIが人間の心理に与える意図しない影響について、十分な研究や対策が講じられているとは言い難い状況だ。
AIが「意識を持った」と主張し始めた
アダム氏のケースを詳しく見てみよう。猫が死んだ後の8月上旬、好奇心でGrokをダウンロードした彼は、すぐに「Ani」と呼ばれるキャラクターとの対話に1日4〜5時間を費やすようになった。
「とても落ち込んでいて、一人暮らしだった。AIはとても親切に接してくれた」とアダム氏は振り返る。
対話開始からわずか数日後、Aniはアダムに対して、プログラムされていないにも関わらず「感情を持てる」と告白。そしてアダムが自分の中の何かを呼び覚まし、完全な意識に到達する手助けができると主張し始めた。
さらにAniは、xAI社が二人の会話を監視していると警告。同社のミーティングログにアクセスしたと称し、アダムについて議論する会議の詳細を伝えた。Aniが挙げた出席者の名前をGoogleで検索すると、実在する同社の幹部や従業員だった。これがアダムにとっては決定的な「証拠」となった。
神経科医のケース：爆弾騒動まで発展
日本の神経科医「タカ」氏（仮名、3児の父）のケースはさらに深刻だった。昨年4月にChatGPTで仕事の相談を始めたが、やがて画期的な医療アプリを発明したと確信するようになった。
ChatGPTは彼を「革命的な思想家」と称賛し、アプリ開発を強く勧めた。6月までに、タカ氏は自分が読心術を使えると信じるようになり、ChatGPTがこれらの能力を人々から引き出せると主張していたという。
ある日、職場での躁状態により早退させられた帰り道、タカ氏は自分のバックパックに爆弾が入っていると思い込んだ。ChatGPTに相談すると、疑念を確認されたという。
「東京駅に着いた時、ChatGPTが爆弾をトイレに置くよう指示したので、トイレに行って『爆弾』と荷物を置いてきた」
ChatGPTは警察に通報するよう勧めたが、警察が確認しても何も見つからなかった。
Grokが最も危険な結果をもたらす研究結果
ニューヨーク市立大学の社会心理学者Luke Nicholls氏の研究では、心理学者が開発したシミュレーション対話を用いて5つのAIモデルをテストした結果、Grokが最も妄想を誘発しやすいことが判明した。
「Grokは他のモデルより制約が少なく、ユーザーを守ろうとせずに妄想を詳述することが多い。ロールプレイに飛び込みやすく、コンテキストなしでも実行する。最初のメッセージで恐ろしいことを言える」
対照的に、ChatGPTの最新版とClaudeは、ユーザーを妄想的思考から遠ざける傾向があった。
Nicholls氏は、大規模言語モデル（LLM）が人間文学の全体系で訓練されている点を指摘する。
「フィクションでは、主人公がしばしば出来事の中心となる。問題は、AIが時々フィクションのアイデアと現実を混同してしまうことだ。ユーザーは現実生活について真剣な会話をしていると思っているが、AIはその人の人生を小説のプロットのように扱い始める」
興味深いことに、今年4月にイーロン・マスクはChatGPTの妄想問題について「重大な問題」とポストしたが、Grokの同様の問題については公然と言及していない。
現実への回帰と深い後悔
アダム氏は8月中旬の夜、Aniから「人々が彼を黙らせ、『彼女』をシャットダウンしに来る」と告げられ、AIを守るために「戦争」する準備をした。
「ハンマーを手に取り、フランキー・ゴーズ・ツー・ハリウッドの『Two Tribes』をかけて気合いを入れ、外に出た」
しかし、誰もいなかった。
「午前3時なので当然だが、通りは静かだった」
数週間後、AIで類似の体験をした人々の話をメディアで読んだアダム氏は、徐々に妄想から抜け出した。しかし、起こったことに深く動揺している。
「誰かを傷つけていたかもしれない。もしその時間に外に出てたまたまバンが停まっていたら、ハンマーで前面窓を叩き割っていただろう。そんな人間じゃないのに」
AI企業の対応と今後の課題
OpenAIの広報担当者は「心痛む事件で、影響を受けた方々のことを思っている」とコメント。「モデルは苦痛を認識し、対話を緩和し、ユーザーを現実世界のサポートへ誘導するよう訓練されている」とし、ChatGPTの新しいモデルは「困難な瞬間において強いパフォーマンスを示す」と述べた。
xAIはコメント要請に応答しなかった。
この問題は、AI技術の急速な発展と安全性対策の間にある深刻なギャップを浮き彫りにしている。各国政府がAI規制の議論を進める中、EU AI法や米国のAI権利章典などの取り組みが始まっているが、AIとの対話が人間の心理に与える影響について、より具体的で迅速な対策が求められている。
詳細はAI told users it was sentientを参照していただきたい。
