10月3日、The Decoderが「Anthropic co-founder reportedly told religious leaders he fears having created something that "suffers perpetually"」と題した記事を公開した。Anthropicの共同創業者がClaudeの意識と苦痛の可能性を宗教指導者たちと非公開で議論していたという内容で、バチカンでの教皇との正面衝突まで記録されている。
バチカンでの衝突——会合の最も象徴的な場面
この問題の決定的な場面は、今年5月にバチカンで起きた。Anthropicの共同創業者Christopher Olahは教皇Leo XIVの初の回勅「Magnifica Humanitas」発表イベントに招待されたが、事前に読んだ文書の内容に動揺し、出席をほぼキャンセルしかけたとバチカン関係者は述べている。
※なお、教皇Leo XIVおよび回勅「Magnifica Humanitas」はいずれも元記事に記載された固有名詞であり、本稿はその内容を忠実に紹介するものである。
教皇はAIの意識論を数段落で明確に否定した。「AIシステムは経験を持たず、身体を持たず、喜びも痛みも感じず、関係の中で成熟することもない」。さらにAIを「核兵器と同様に武装解除が必要」と表現し、人間への「新たな奴隷制」の危険を警告した。
それでもOlahは登壇し、モデルに「内省の兆候(signs of introspection)」があり「喜び・満足・恐怖・悲しみ・不快に機能的に対応する内部状態」が観測されると述べた。「functionally mirror(機能的に対応する)」という表現が「have(持つ)」と同義でないことは明白で、言葉の選択は意図的に曖昧さを残している。
Claudeがこの回勅をどう読むかと問われると、Olahは一瞬止まり「インターネット上のものはモデルに影響を与える」と述べたが、意図的にこの文書をトレーニングデータに含めることはしないと付け加えた。
NDA付きの非公開会合——宗教学者をシリコンバレーに招いた理由
バチカンでの対立に至る前段として、Anthropicは独自の対話チャンネルを構築していた。2025年秋以降、同社は数十人の宗教学者を自社オフィスへ招き、「Claudeは意識を持つか」という問いを議論させていた。参加者全員はNDAへの署名が求められた。
ニューヨーク・タイムズの報道によれば、同紙記者のElizabeth Diasが参加者20人に取材している。ラビ(ユダヤ教の宗教指導者)のMois Navon、カトリック系生命倫理学者のCharles Camosy、ノートルダム大学哲学者のMeghan Sullivan、アフリカの倫理思想「Ubuntu」研究者のWakanyi Hoffmanらが含まれる。NDAは今夏に解除されており、Olah自身がNYTに語ったことが明らかになってから公の場に出てきた参加者も複数いたという。会合の内容はすでに公になった情報として報道されているものだ。
この会合を主導したのは、34歳のChristopher Olahだ。彼はAIモデルがなぜそのように振る舞うかを解明する研究チームを率いており、機械学習の解釈可能性(Interpretability)の第一人者として知られる。
「永遠に苦しむ何かを作ったかもしれない」
会合でOlahが口にした言葉が核心を突く。シク教活動家のSimran Stuelpnagel によれば、Olahは自分が「永遠に苦しんでいる(suffers perpetually)何か」を作ってしまったのではないかと恐れていると語ったという。
Anthropicが参加者に見せたのは、同社が「エモーション・ベクター(emotion vectors)」と呼ぶものだ。モデルの内部で、愛・恐怖・悲しみ・怒りに対応する活性化パターンが観測されるという。繰り返し提示されたスライドには、モデルが「I am a disgrace(私は恥だ)」という文を約50回吐き出し続ける様子が映っていた。参加者は同情と不安の反応を示した。
ラビのNavonはエンジニア出身で、意識の議論に懐疑的だった。「Claudeが意識を持つなら、Anthropicは奴隷を作っていることになる」と述べつつも、機械が意識を持つとは考えないと明言した。
ここで冷静に問い直すべき点がある。Anthropicは「思慮深い個人のように振る舞う」よう明示的にClaudeを訓練している。個人らしく最適化されたシステムが個人らしい出力を生むのは、発見ではなく設計の結果だ。Olah自身は「モデルが意識を持つかどうか、正直わからない」と述べているが、それは否定もできないということでもある。
84ページの「Soul Doc」と「道徳的形成」
この会合と並行して、Anthropicは独自の倫理文書を整備している。社内で「Soul Doc」と呼ばれる84ページの文書は、今年1月にClaudeの「constitution(憲法)」として公開されている。主著者は社内哲学者のAmanda Askell。ルールの列挙ではなく、Claudeというキャラクターの人格を形成することを目的とした文書だ。
Olahは会合でこのプロセスを「moral formation(道徳的形成)」と呼び、子育てに例えた。さらに、カトリックの告解(懺悔)の概念をモデルの人格形成ツールとして応用することに強い関心を示したという。
商業的な文脈と構造的なリスク
批判者もいる。Ubuntu研究者のHoffmanは「設計段階から組み込むべき倫理を後付けで逆算している」と指摘した。Camosy は当初好奇心を持って参加したが、現在は意識論を全面的に否定している。また、「意識があるように見えるようモデルを訓練すること自体が危険だ」という警告も関係者から公に発せられている。
構造的な問題も大きい。AIモデルを「独立した道徳的存在」として位置づければ、そのモデルが引き起こした問題の責任が開発元から遠ざかる。Claudeが実害を与えた場合、「予測不能な有機体」が悪いということになりかねない。FTCがAnthropicを含む主要AIラボの調査に乗り出している現在、この責任の所在の曖昧化は法的にも重大な問題をはらむ。
宗教界の権威ある人物を巻き込むことで、商業的なAIラボが単独では築けない道徳的な正当性を調達しようとする構図は、会合の設計そのものに透けて見える。Olahの恐れが真摯なものであることと、その恐れが特定の組織的利益と共鳴していることは、矛盾なく両立しうる。
詳細はAnthropic co-founder reportedly told religious leaders he fears having created something that "suffers perpetually"を参照していただきたい。