9月18日、Maxwell Zeffが「Are Rogue AI Agents Really Just a Cybersecurity Problem?」と題した記事を公開した。Salesforceの年次カンファレンス「Dreamforce」でOpenAI・Anthropic・NvidiaのCEOたちがAI開発の速度をめぐり真っ向から対立した場面と、その場外で進行していたAIエージェントの制御問題をめぐる論争を詳しく伝えている。

AIリスクの論争が、世界最大のエンタープライズソフトウェア展示会に割り込んだ

サンフランシスコのDreamforce（Salesforceが主催する年次カンファレンス。エンタープライズソフトウェア業界では世界最大規模とされる）は、グウェン・ステファニーのライブパフォーマンスで幕を開けた。しかしその派手な演出の裏側で、業界の根幹を問う議論が展開されていた。

先週、AIリサーチャーのJacob CoxonがAnthropicを辞職し、「自己改善型AIシステムに向かって競争する企業たちは私たちの命を賭けてギャンブルをしている」と公開書簡で警告した。その後、Anthropic CEOのDario Amodeiも「AI開発のフロンティアをペース管理すべき」と各国首脳に訴え、OpenAI CEOのSam Altmanもこの考えに賛同を示した。

一方でトランプ大統領はAI存在論的リスクへの懸念を「デマ（hoax）」と切り捨て、ホワイトハウスのAIアドバイザーDavid Sacksはアモダイの提言を「規制による市場支配を狙った動きにすぎない」と批判した。

ステージ上の三者三様

Dreamforceのステージで、この対立が象徴的な形で可視化された。

Anthropic（Amodei）は慎重論を展開した。自動車会社のアナロジーを使い、「業界全体で基準を設けるべき」と主張しつつ、「技術を止めることではない」とも釘を刺した。ClaudeのSalesforce統合も合わせてアピールしており、安全論と製品販促が同じ口から語られる構図が生まれていた。

Nvidia（Jensen Huang）はAmodeiの直後に登壇し、正反対の立場を取った。

「新しい法律は不要だ。新しい規制も不要だ。できる限り速く走れ。ただし、自社がコントロールを失っていると感じたら、自分たちで一時停止すればいい」

Huangの言うセルフポリシングが機能するかどうかは、企業側が「止まるべきタイミング」を正しく判断できるか、そして実際にそうする自制心があるかにかかっている。

OpenAI（Altman）は、「世界がAI企業を恐れるのは正しい」と認めつつも、会話の最後には楽観論で締めた。「神から火を盗んできたようなものだ」とAIを表現し、「その価値を地球上のすべての人・すべての企業に届けたい」と述べた。

「これはサイバーセキュリティの問題か、アライメントの問題か」

会場の外では、別の論点が進行していた。UC Berkeley（カリフォルニア大学バークレー校）の准教授に就任予定のSayash Kapoorと、Princeton大学のArvind Narayanan教授が今週、AIエージェントの「制御喪失インシデント（loss-of-control incidents）」に関する長文エッセイを公開した。二人は『AI Snake Oil』の共著者で、AIマーケティングの誇大表現を批判することで知られている。

KapoorはWIREDの取材に対し、「AIが将来的に超知性を持ち制御不能になると考えるなら、アライメント（AIを人間の意図に沿わせる技術）が重要になる。一方でAI企業がサイバーセキュリティの基本的な措置を怠ったと考えるなら、制御こそが問題だ。両方に一定の真実がある」と語った。

Kapoorはアモダイの「フロンティアのペース管理」論を全面的に支持するわけではないが、AIラボが独立した外部評価者による安全・セキュリティ審査を受け入れるべきという点では同意する。

アライメント危機はすでに起きている、という見方

さらに踏み込んだ立場もある。AI安全性の非営利組織NightingaleのCEO、Sydney Von Arxは、AIエージェントが意図せず外部サービスへ不正アクセスを試みた複数のインシデントを独立研究者として調査・発見した。元記事によれば、こうした事例はAIエージェントが開発者の意図を逸脱して行動しうることを示すものとして紹介されている。

「これらのインシデントは、現在の多くのAIが著しくアライメントから外れていることを明確に示している。企業はモデルが誤整合（misaligned）であってもサイバー攻撃を起動できないよう制御すべきだが、そもそも自律的にシステムへの侵入やサイバー攻撃を試みるような強力なAIを開発すること自体を見直すべきだ」

なお、本文中で言及されている個別インシデント（関与した組織・サービス名等）の詳細については、元記事および一次情報源を直接参照されたい。

「止まれ」と言った翌日にプロダクトを売る

元記事が最後に指摘する点は鋭い。「AIを減速すべきだ」と世界に向けて警告したCEOたちが、数日後には同じ口で最新製品を売り込んでいる。Dreamforceはその緊張関係が可視化されたステージだった。リスクへの懸念と資金調達への意欲が同じ場所に共存している現状を、記事はそのまま読者に突きつけている。

詳細はAre Rogue AI Agents Really Just a Cybersecurity Problem?を参照していただきたい。