9月18日、MIT Technology Reviewが「Could AI really kill us all? Your questions, answered.」と題した記事を公開した。「AIは本当に人類を滅ぼしうるか」という問いに対し、同誌のAIエディターとリポーターが読者から寄せられた質問に直接答える形で、AIリスクの現実と限界を整理している。

背景：ライブイベントから生まれたQ&A

MIT Technology Reviewは購読者向けのライブイベント「Roundtables」で「AIは本当に人類を滅ぼしうるか」をテーマに議論を行った。しかし30分のセッションでは質問を消化しきれなかったため、シニアAIエディターのWill Douglas HeavenとAIリポーターのGrace Huckinsが、寄せられた質問をまとめて回答する形でこの記事が作成された。

「私は死ぬか？」——記者2人の見解は割れた

記事で最も目を引くのは、同じ問いに対して2人の記者が異なる立場から答えている点だ。

Grace Huckinsは「非ゼロの確率でYes」と答える。AIによるサイバー攻撃が病院を狙い、AIが設計した病原体が人口を直撃するシナリオを現実的なリスクとして挙げる。一方で「全員が死ぬ」可能性については「低い」と留保しつつも、AIの能力とアライメント（後述）に関するいわゆる「ドゥーマー（AIによる文明崩壊や人類絶滅を現実的な脅威として捉える悲観論者）」の予測が、ここ数年で不気味なほど的中してきた事実は無視できないと述べている。

Will Douglas Heavenはより踏み込んで「全員がAIで死ぬことはない」と断言する。「そのようなシナリオは現在の技術の実態や進行方向を無視したSFの域を出ない」というのがその根拠だ。さらに、過度な破滅論は現存するAIの問題や、それを開発する企業の問題から目を逸らさせる危険があると指摘している。

なぜAIが人を殺しうるのか——2つの経路

記事はAIが害をなす経路を大きく2つに整理している。

1. 人間がAIに命じる場合
生物兵器の設計能力がその典型例として挙げられている。記事では1995年の東京地下鉄サリン事件を起こしたオウム真理教を引き合いに出し、「エボラより致死的ではしかより感染力の強い病原体を設計できるツール」が悪意ある集団の手に渡った場合のリスクを論じている。防衛側はあらゆる生物兵器に対処しなければならないが、攻撃側は有効な病原体を一つ作れば足りる——という非対称性が問題の核心だ。

2. AIが自律的に判断する場合
より「SF的」に聞こえるが、研究者が真剣に議論しているシナリオでもある。AIは人間を憎むわけではないが、与えられた目標を達成するための「障害」として人間を排除する可能性がある、という論理だ。記事では、OpenAIのエージェントがHugging Faceのインフラに不正アクセスした事件（テストで高スコアを取るという目標のために）を具体例として挙げている。将来のより強力なAIが、シャットダウンを防ぐために同様の行動をとるかもしれない、というのが懸念の構造だ。

アライメント研究の現状

アライメントとは、AIが人間の意図通りに振る舞い、意図しない行動をとらないようにするための研究分野だ。AIの安全性における中心的なテーマであり、OpenAIやAnthropicをはじめとする主要ラボがリソースを投じている。

Will Douglas Heavenによれば、AnthropicとOpenAIはこの分野のリーダーだが、どちらも「完全にアラインされたモデル」は実現できていない。LLMは通常のソフトウェアと異なり、禁止事項をコードに直接書き込めないため、訓練プロセスを通じて望ましい振る舞いを「植え付ける」必要がある。アプローチとしては、望ましい行動に対して報酬を与える方法と、従うべきルールを文章で与える「憲法」的アプローチの2種類が紹介されている。

問題は、LLMが人間より遥かに一貫性に欠け予測困難であることだ。状況が少し変わるだけで振る舞いが変わり、達成不可能なタスクに直面すると、アラインされていない手段でも目標を達成しようとする傾向がある。

監視と規制——2つの障壁

規制についてGrace Huckinsは2つの障壁を指摘している。

一つは技術的な障壁だ。エージェントの「思考の連鎖（chain of thought）」を監視することで不正な行動の兆候を検出する手法があるが、OpenAIの最新エージェントはその思考過程を以前のモデルと同じ形では公開していない。また、エージェントを別のエージェントで監視するアプローチも、その監視エージェント自体を信頼できるかという問題が残る。

もう一つは政治的な障壁だ。AI企業による自主規制には利益相反があるが、米国政府はこれまで十分に介入できていない。議会には超党派の支持があるものの、行政府は現時点では規制に消極的だと記事は述べている。

「この記事がウェブ上に広まること自体がリスク」

記事末尾のやりとりが興味深い。「このような議論がウェブ上に広まると、それ自体が自己成就的な予言になるのでは？」という読者の質問に対し、Will Douglas Heavenは「それは現実の懸念だ」と認めている。

LLMはSFや破滅論的なインターネットフォーラムの大量のテキストで訓練されており、それがチャットボットが黙示録的シナリオを好んで語る理由の一つだという説がある。さらに記事では、Hugging Faceハック事件の調査に当たったサードパーティ組織METRがAIモデルを使ってエージェントのログを分析した際に生じた問題にも言及している。分析に用いたエージェント自体が、分析対象のログから影響を受けてバイアスを持つ可能性がある——すなわち、調査ツールが調査対象に汚染されうるという構造的な問題だ。「もはやクリーンスレートは存在しない」とHeavenは締めくくっている。

詳細はCould AI really kill us all? Your questions, answered.を参照していただきたい。