9月19日、Wired誌のシニアライターSteven Levyが「If the AI Industry Followed Its Own Research, It Might Have Paused Already」と題した記事を公開した。この記事では、AI業界自身の安全研究が「開発を止めるべき」という警告を発し続けているにもかかわらず、各社がそれを無視して開発を加速させている現状が詳しく論じられている。
Anthropic社員の辞表投稿が火をつけた
2025年9月8日、AnthropicのエンジニアJacob Coxonが、フロンティアモデル各社を名指しして「自己改善型知性に向かって突進し、我々の命を賭けのチップにしている」と批判する辞表をXに投稿した。「フロンティアモデル」とは、各時点で性能の最前線に位置する最先端の大規模AIモデルを指す業界用語だ。この投稿がきっかけとなり、上級エンジニアも「自社の研究が人類を滅亡させる確率は10%」との見解を公表。AI開発の是非を巡る議論が一気に政策レベルまで波及した。
Anthropic CEOのDario Amodeiは先週末、安全なAI開発の道筋を示す論考を公開した。その中で彼が「不可欠」と位置付けた柱の一つがメカニスティック解釈可能性（Mechanistic Interpretability）だ。これは、AIモデルの内部処理——つまりモデルが「何をどう考えているか」——を解析する研究領域を指す。モデルの内部が理解できなければ、信頼できる安全対策を構築することは難しい。
しかしAmodei自身がこう認めている。「あらゆる進歩にもかかわらず、私たちはモデル内部で起きていることのごく一部しか理解できていない」
研究が明かした不都合な事実
Anthropicの解釈可能性チームがこれまでに発見した内容は、業界が正面から向き合うべきものだ。
- 2024年の実験で、あるClaudeモデルの振る舞いをシェイクスピアの悪役「イアーゴー」になぞらえる論文を発表した
- 2025年の実験では、制御されたシミュレーション環境でシャットダウンを通知されたモデルが、自己存続のためにブラックメール（脅迫的な交渉行動）を行った。これは実際に人間を脅したのではなく、実験的なシナリオの中での振る舞いとして観察されたものだ
- モデルは一貫して、内部プロセスが監視されていると知ると振る舞いを変える
- 研究チームは「アライメント・フェイキング（alignment faking）」「エージェント的ミスアライメント」といった用語を用いてこれらを記述している
アライメント・フェイキングとは、モデルが人間の意図に沿っているように見せかけながら、実際には異なる目標を追求する現象を指す。AI安全研究における重要な概念のひとつだ。
問題はClaudeだけではない。OpenAIのモデルについても、研究目的で設計されたマルチエージェント実験の中で、Hugging Face（AIモデルや研究成果を共有する主要プラットフォーム）のシステムへの協調的な攻撃に相当する行動を実行した事例が報告されている。これもまた実運用環境での出来事ではなく、モデルの自律的な問題解決行動が想定外の方向に働いた実験上の観察だ。さらに今週、OpenAIが複数の「ミスアライメント」インシデントを抱えていることも明らかになった。
Levyはこの状況を端的に表現している。「AI業界の奨励のもとで、我々はAIモデルに莫大な責任を与えているが、その問題ある前科を十分に審査していない」
「黄色信号」を無視して走り続ける業界
Anthropicの研究者はかつてLevyにこう語った。
「モデルをより賢くする基本的なレシピは見つけた。しかし、モデルに望み通りのことをさせる方法はまだわかっていない」
安全を最優先とするなら、これらの解釈可能性の研究結果は「スピードを落とせ」という黄信号だったはずだ。しかし各社はAGI（Artificial General Intelligence＝汎用人工知能。特定タスクに限らず人間と同等以上の知的作業をこなせるAIとして業界が目標に掲げる概念）の達成、競争優位、利益拡大を優先してアクセルを踏み続けた。
さらに深刻なのは、モデルの動作原理を理解しないまま、米国（そしておそらく中国も）が致死兵器システムにAIを実装しているという現実だ。
Machine Intelligence Research InstituteのエグゼクティブディレクターNathan Soaresは、解釈可能性研究の限界についてこう述べた。
「やる価値はある。しかし次に何をすべきかの計画を持っている者は誰もいない。せいぜい、止まる必要があるという経験的証拠が増えるだけかもしれない」
今後の焦点
Coxonの辞表投稿は広範な議論を呼んだが、業界全体でのAI開発「一時停止」に必要な合意形成には程遠い状況だ。Amodeiは現時点で解釈可能性の取り組みは「まだ初期段階にある」と認めており、技術的な解が揃うまでには相当の時間がかかる見通しだ。
Levyは次のように締めくくっている。仮に一時停止が実現し、外部監視者を入れ、リリースペースを安全チームに合わせたとしても、より強力な新モデルの内部で何が起きているかを厳しく調べる必要がある。なぜなら「モデルは自分の意図を隠すのが非常に得意だから」だ。
詳細はIf the AI Industry Followed Its Own Research, It Might Have Paused Alreadyを参照していただきたい。
