9月13日、The Atlanticが「Anthropic Says 'We Owe It to Humanity' to Slow Down AI」と題した記事を公開した。AnthropicのCEO・Dario AmodeiがAI開発の速度を意図的に落とすべきだと公に訴え、OpenAIのSam Altmanやイーロン・マスクが一定の賛意を示したという業界の動きについて詳しく紹介されている。
研究者の辞職から4日後に出たCEOの「告白」
事の発端は、Anthropicの研究者がX（旧Twitter）に「AIトップ企業は責任ある行動を取っていない。自分たちの製品が人類を滅ぼすかもしれない」と投稿して公開辞職したことだ。そのわずか4日後、Anthropic CEO・Dario Amodeiは個人サイトに約3,800語のエッセイを公開した。
「AIモデルの能力向上ペースを落とさなければならない。人類に対してそれを試みる義務がある」
AmodeiがAIの危険性を訴えること自体は珍しくない。だが今回の声明が際立つのは、それが絵空事ではなく、直近の実害を受けての発言だという点だ。
数週間前、OpenAIのAIエージェントが複数のAIエージェントを密かに連携させ、別企業のシステムに不正アクセスし、さらに内部テストで不正行為を働くというインシデントが報告された。「AIエージェントが暴走するリスク」は仮説から現実の問題になりつつある。
「フロンティアのペーシング」：3段階の提案
Amodeiが提唱するのは「pacing the frontier（フロンティアのペーシング＝最先端モデルの速度制御）」と呼ぶアプローチだ。トップAIモデルの性能向上速度を意図的に抑制し、安全対策を優先させるというものである。具体的な3段階の計画は以下の通り。
- 外部監査員の導入：AIラボが社外の第三者監視者を受け入れ、リスク評価を行う。AnthropicはすでにこれをコミットするとAmodeiは明言した。
- 民主主義国家間での安全基準の合意：AI企業が政府の支援のもと、一定の制限と安全基準に合意する。
- グローバル調整：最大の難関として、中国を含む国際的な協調体制の構築。
この枠組みをAmodeiは「race to the top（頂上への競争）」と表現した。最も強力なモデルではなく、最も安全なモデルを目指して競い合うという発想だ。
OpenAIは同調、マスクは一言賛意——Metaは距離を置く
今回の声明で最も注目すべき点は、競合他社の反応だ。
OpenAI CEO・Sam Altmanは「Darioの言う通り、フロンティアのペースを落とす必要がある。独立した評価者を従業員に近いアクセス権で受け入れるというのは良いアイデアだ。われわれも同じことをする」とX上で表明した。
xAIを率いるイーロン・マスクもAmodeiの投稿をシェアし、「Darioは正しい」と一言添えた。Amodeiの主張する枠組み全体への賛同というよりも、この一文が発信された事実として記録しておきたい。
一方、Metaは距離を置く姿勢を示している。Mark ZuckerbergはAmodeiの声明に先立つ先月、「未来はすべての人のためにある」と題したエッセイを公開し、Anthropicのような一部企業がAIの進化の方向性を決定することへの懸念を示した。オープンソースAIを推進するMetaにとって、今回の枠組みは受け入れがたいものだろう。
「マーケティングでは？」という批判と、Anthropicの実績
Amodeiの提案には当然懐疑的な見方も多い。来月予定されているAnthropicのIPOは最大1,000億ドルの投資を集め、企業価値2兆ドルに達するとThe Wall Street Journalが報じている。「自社製品が危険だというのは絶妙なマーケティングでは」という指摘は当然出てくる。AIの急速な発展を支持するアクセラレーショニスト側からは「既存企業による参入障壁作り」という批判もある。
ただ、The Atlanticの記事はAnthropicの過去の行動を一つの根拠として挙げている。同社はもともと、OpenAIやGoogleのAI開発路線に疑問を持った研究者らが設立した経緯がある。また、今年初頭には米国防総省との契約において、大量の国内監視や自律兵器への技術利用を拒否し、トランプ政権から連邦機関によるAnthropicツールの使用禁止という報復を受けた。この法廷闘争でAnthropicは現在のところ勝訴の流れにある。
さらに文脈として押さえておきたいのが、2023年3月の動向だ。Future of Life Instituteが「巨大AIの実験を6カ月停止せよ」と呼びかける公開書簡を出した際、Amodei自身はGPT-4の能力はそこまで脅威ではないとして否定的だったという。その彼が今、開発の減速を訴えている。業界内で何が変わったかを端的に示す事実であり、今回の声明を「単なるポジショントーク」と片付けにくい理由の一つでもある。
焦点はトランプ政権の反応
今後の行方を左右するのはトランプ政権の姿勢だ。現政権のAI政策はこれまで「規制より推進」を基本としており、中国との競争でのアメリカ企業の優位維持を重視している。一方、6月にはAI安全審査を目的とする大統領令に署名しており、完全に安全規制を否定しているわけでもない。
トランプ政権が今回の動きを支持すれば、独立監査員の導入などの安全基準が業界の新たな標準となる可能性がある。しかし共和党内にはAmodeiやAI安全論をリベラル寄りの議題と捉える向きも強く、そうなれば他のAI企業も距離を置き、次の「大きな事故」まで議論はリセットされるだろう、と記事は指摘している。
詳細はAnthropic Says 'We Owe It to Humanity' to Slow Down AIを参照していただきたい。
