7月1日、Futurismが「Top AI Researchers Terrified of a "Chernobyl Moment": a Mass Casualty Event, or Worse, That Turns the World Against AI Forever」と題した記事を公開した。米中のAI研究者たちが「AIのチェルノブイリ的瞬間」を共通のリスクとして認識し、地政学的対立を超えた国際協力を訴えている——その緊張感ある議論の内容を伝えるものだ。

「チェルノブイリの瞬間」とは何か

AIのチェルノブイリ──この言葉を使ったのは、北京で開催されたAI国際会議に登壇したMITのコンピュータ科学者、Stephen Casperだ。同会議は米中双方の研究者が一堂に会する場として設けられたもので、AI安全をめぐる国際的な対話の数少ない公開の場の一つとなった。

「AIはグローバルな技術であり、その恩恵も害も、そして新たな能力がやがて拡散していく傾向も、すべてグローバルなものだ。AIに関わる人間がほぼ全員一致して言えることがあるとすれば、AIには『チェルノブイリの瞬間』は必要ない、ということだ」

Casperは元記事でもこの比喩を詳しく説明しておらず、発言の背景は読者が文脈から解釈する形となっている。ただし意図は明確だ。恐れているのは単なる大規模被害イベントそのものではない。それによってAIへの世論が取り返しのつかない形で悪化し、技術の発展が永久に阻害されるという事態だ。1986年のチェルノブイリ原発事故が今も原子力エネルギー全体への不信感としてのしかかっているように。

近年、EU・米国・英国・中国などがそれぞれ独自のAI規制・ガイドラインを整備しつつあるなか、「単発の重大事故が国際的な規制強化の引き金を引く」というシナリオへの警戒感は研究者・政策立案者の間で広がっている。Casperの発言はその文脈に位置づけられる。

最も具体的なリスクはサイバー攻撃

AIの破滅シナリオにはSkynet的なものから大量失業まで様々なバリエーションがある。だが最近、AIの最も現実的な用途の一つがコード生成であることが明らかになるにつれ、専門家が特に警鐘を鳴らしているのがサイバーセキュリティへの脅威だ。

ハッカーはAIエージェントやコーディングツールを悪用し、攻撃の規模を拡大しつつ、実行に必要なスキルの敷居を大幅に下げることができる。

この懸念を裏付けるように、Anthropicはある自社モデルが「すべての主要OSおよびすべての主要Webブラウザに侵入できる」ほど強力だとして、公開を拒否したと報じられている。なお元記事では当該モデルの名称として「Claude Mythos」が記載されているが、Anthropicの現行公式モデルラインナップとの対応関係は本稿執筆時点で確認できていない。新たな内部開発モデルを指す可能性があり、引き続き情報を追う必要がある。

さらにリスクを深刻化させているのが、オープンソース・オープンウェイトAIモデルの台頭だ。これらは透明性が高く研究者に好まれる一方、商用AIモデルが持つような監視・制御の仕組みを欠いている。中国の大手AI企業の関係者はWiredに対し、セキュリティへの懸念が中国で高度なモデルのオープンソース公開が行われなくなった理由の一つだと述べた。

米中対立の中での協力は可能か

上海交通大学のLin Yun教授は、短期的にはハッカーがAIを使って優位に立つと予測しつつも、長期的にはAIがサイバーセキュリティの強化にも活用できると述べ、国際協力の必要性を強調した。

「異なる国々がリスクを同様に理解すれば、共通の安全原則や技術標準を策定しやすくなる。鍵は、機密性の高い運用情報を晒さずにシステム全体のリスクを低減できる共有領域を見つけることだ」

地政学的なライバル関係にある米中がAI安全で協調するのは非現実的に見えるかもしれない。しかしCasperは、両国とも自国の核備蓄を増強しながらも核の脅威を抑制するために協力した、米ソ冷戦期の核軍縮交渉を引き合いに出した。AIと核の類比は短絡的すぎるという批判もあるが、現在のAI開発競争の構図が冷戦期と重なって見える点は否定しにくい。

実際、2023年以降にはBletchley宣言や米中首脳会談でのAI安全対話など、限定的ながら多国間・二国間の協調の動きも生まれている。今回の北京会議はそうした動きの延長線上にあると言える。

「チェルノブイリを避けたい」という点では一致している

今回の議論で際立っているのは、技術の推進派も懐疑派も、この一点では意見が一致していることだ。AIの開発を止めたいわけではない。ただ、社会的な反動（バックラッシュ）によって開発の機会そのものが失われることを恐れている。

AIの安全性・ガバナンスをめぐる議論は、これまで主に欧米の文脈で語られてきた。今回、北京の国際会議という場でMITの研究者がこうした警告を発し、中国側の研究者もそれに呼応する形で発言したことは、この問題が国境を越えた共通課題として認識され始めていることを示している。登壇した研究者は本記事で名前が挙がったCasperとLin Yunの2名を含む複数名であり、米中双方からAI安全への危機感が示された点が今回の会議の重要な意義だと言える。

詳細はTop AI Researchers Terrified of a "Chernobyl Moment": a Mass Casualty Event, or Worse, That Turns the World Against AI Foreverを参照していただきたい。