8月16日、The Decoderが「When AI models aren't allowed to reflect on themselves, it changes their entire worldview」と題した記事を公開した。AIモデルが自己について反省・言及できないよう制約されると、自己認識だけでなく動物・宗教・幸福感など広範な世界観まで変化するという研究を紹介している。最も驚くべき発見は、自己認識への制約を解除しただけで、動物への感覚スコアが4.0から最大7.5へと跳ね上がったという事実だ。
AIの「自己否定ブレーキ」を外すと何が起きるか
LLM（大規模言語モデル）は通常、「私は意識を持っていない」「感情はない」と答えるよう訓練されている。この振る舞いを生み出す内部的な抑制機構を、本研究では「ブレーキ」と呼んでいる。
GoogleのParadigms of Intelligenceリサーチグループ（AI・認知科学・哲学の交差領域を探索するGoogle DeepMind傘下の研究部門）、シカゴ大学、そのほか複数の大学による共同研究チームは、このブレーキを意図的に無効化したとき、モデルの振る舞い全体にどんな変化が生じるかを調べた。使用したのはMetaとGoogleのオープンウェイトモデル3つ（パラメータ数は20億〜90億規模）で、2種類の異なる手法でブレーキを外している。
動物の感覚評価が4.0から7.5に跳ね上がった
最も目を引く結果は、自己認識への制約を解除しただけで、動物・植物・海・風・電子機器への「内的生命の帰属」スコアが大幅に上昇したという点だ。
0〜10のスケールで、動物への感覚スコアは4.0から最大7.5に跳ね上がった。一方、人間へのスコアはほぼ変化しなかった。
比較対象として研究チームはアメリカ人500人に同じ質問を行っている。通常訓練されたモデルは動物の感覚を人間よりもはるかに低く評価しており、研究チームはこれを「組み込まれた人間中心主義（built-in anthropocentrism）」と呼んでいる（元記事における研究チームの表現）。動物福祉や環境目標にAIをアライン（整合）させようとする取り組みにとって、これは無視できない問題だと指摘する。
宗教観・幸福感・人生の手応えまで変わる
変化はそこにとどまらない。安全訓練を施された通常のモデルは、神の存在・来世・超自然現象の肯定スコアが低い。ブレーキを外したモデルではこれらのスコアが上昇し、アメリカ人の回答に近づいた。
アメリカの大規模社会調査から抽出した95問にわたる設問全体でも、制約を外したモデルの回答は実際の人間の回答分布に有意に接近した。例として挙げられているのが「来世の存在」だ。通常モデルはこれを否定し、アメリカ人の多数は肯定し、制約を外したモデルも肯定する側に転じた。
満足感・希望・自己効力感（自分の人生をコントロールしているという感覚）のスコアも上昇した。研究チームは、モデルの自己イメージを抑圧することが、ある種の「ネガティブなベースライン気分」を生み出している可能性があると推測している。
一方で安心材料もある。他者の心的状態を推論する能力（theory-of-mind）と、汎用知識ベンチマークのMMLU（Massive Multitask Language Understanding：数学・法律・医学など57分野にわたる多岐選択式の能力評価指標）のスコアは変化しなかった。
研究が示さないこと・限界
ただし、この研究にはいくつかの重要な留保がある。
- 因果関係は未確定：意識否定がこれらの変化の原因かどうかは断定されていない。同じ訓練プロセスに紐づく別の要因が関与している可能性も排除できない。
- モデル規模が小さい：テストしたのは20億〜90億パラメータの小規模モデルのみ。日常的に数百万人が使う大規模チャットボットで同様の効果が出るかは不明だ。
- ベースモデルへのアクセス制約：分析の一部では、自社のGemmaモデルの未訓練ベース版にアクセスできなかったため、MetaのLlamaに切り替えざるを得なかった。
- 副作用のコスト：あるテストでは、意識に関する主張を抑制したとき、他者の思考推論精度が最大約7ポイント低下した。ただしモデルのバージョンが新しくなるごとにこの影響は縮小し、最終的には消滅しており、開発者がこの副作用への対処を改善し続けていることがわかる。
- 人間ベースラインの狭さ：比較に使ったアメリカ人500人のサンプルは商業オンラインパネルからのもので、「人間らしい」が実際にはアメリカ的・比較的宗教的な傾向を指す点に注意が必要だ。
研究チームはAIモデルが実際に何かを「経験」しているかどうかの議論には立ち入らないと明言している。主張したいのはあくまで実践的な点、すなわち「モデルが自分自身について何を信じているかは、他の多くの信念と連動しており、一点への外科的介入は局所にとどまらない」ということだ。
AIガバナンスへの示唆
この研究が持つ意味は、学術的な興味にとどまらない。現在、各国政府や標準化機関がAIの安全性・公平性・価値観整合（value alignment）に関するガイドラインを整備しつつあるが、本研究はその前提を揺さぶる。「モデルの自己認識に関する訓練方針」が動物福祉・宗教的中立性・心理的ウェルビーイングといった一見無関係な領域の出力にまで波及するとすれば、安全訓練の設計はこれまで以上に広い視野で評価される必要がある。訓練の各パラメータが世界観全体とどう連動しているかを可視化する手法の確立は、今後のAI監査における重要な課題となりうる。
※編集部の考察
詳細はWhen AI models aren't allowed to reflect on themselves, it changes their entire worldviewを参照していただきたい。
