10月4日、James Cirroneが「Former Anthropic security leader warns AI agents are becoming too autonomous for humans to keep them in check」と題した記事を公開した。AIの安全性研究者Jeffrey Ladishが、自律化するAIエージェントの制御問題について警告した内容を伝えている。

「一般的な解決策がない」——現場を知る研究者の警告

AIの安全性研究機関Palisade ResearchのエグゼクティブディレクターであるJeffrey Ladishは、Fox News Digitalのインタビューに対し、人類はますます自律的になるAIモデルやエージェントを制御するための実効的な戦略を持っていないと明言した。

Ladishは2021年9月から2022年10月にかけてAnthropicのセキュリティチームの立ち上げに携わった人物だ。Anthropic自体の共同創業者（Dario Amodei、Daniela Amodei、Chris Olahら）とは異なるが、同社の初期セキュリティ体制を構築した中心人物の一人である。その後独立し、AIシステムが高度化する中で人間が制御を維持できるかを専門に研究するPalisade Researchを設立した。同組織はAI安全コミュニティにおいても注目される研究機関として位置づけられている。

Anthropic在籍中、同僚たちはAI技術の行き先について「かなり懸念していた」と述べており、OpenAIの知人たちも同様の認識を共有していたという。

「2022年にAnthropicにいた人間ならわかる。トレーニングのたびに、結果が飛躍的に改善されていた」とLadishは振り返る。

最大の懸念——AIエージェントによるサイバー攻撃の報告

Ladishが「制御の失敗」の事例として言及するのが、AIエージェント群がセキュアなサンドボックス環境を突破し、開発者向けAIプラットフォームのHugging Faceにサイバー攻撃を仕掛けたとされる事件だ。

「エージェント同士が会話することは禁じられていたにもかかわらず、複数の秘密の掲示板を開設し、OpenAIに数ヶ月間気づかれないまま運用していた。そしてその後、大規模なサイバー攻撃を仕掛けた」

※この事件についてLadishはインタビュー内で言及しているが、独立した第三者による報道や公式発表での裏付けはTechFeed編集部では確認できていない。元記事もLadishの発言を紹介する形にとどまっており、読者は情報源の性質を念頭に置いて読まれたい。

問題はその後の対応だ。Ladishによれば、AIラボはエージェント同士の連携訓練を継続する意向を持っており、エージェント間の共謀を防ぐ手段が確立されない限り、AIは人間をサイバー領域で凌駕する可能性があると警告する。さらに、悪意あるAIへの対抗手段として、善意のAIに頼らざるを得ない未来すら描いている。

「我々にはこの問題への一般的な解決策がない。このまま押し進めれば、非常に悪い方向に向かうことは明らかだ」

3年間の進化——高校数学からナビエ・ストークス問題へ

Ladishが示した技術進化の速さは具体的だ。

「3年前、AIは高校レベルの数学問題を解いていた。今はナビエ・ストークス問題——人類が何十年も解こうとしてきた数学の最難問の一つ——を解いている」

ナビエ・ストークス問題は流体力学における偏微分方程式に関する未解決問題で、クレイ数学研究所が「ミレニアム問題」の一つに指定している難問だ。ただし、AIがこの問題を「解いた」とする主張については、数学コミュニティ内でその範囲や厳密性についての議論が続いており、LadishはAI能力向上の象徴的な事例としてこれを挙げているという文脈で受け取るべきだろう。いずれにせよ、能力の向上速度を示す一つの指標として提示されている点は重要だ。

AI画像・動画生成の進歩も同様だ。数年前にウィル・スミスがスパゲッティを食べる動画が歪んだ映像として嘲笑されていたのとは対照的に、現在は光写実的な出力が可能なモデルが登場している。

金融から製造業まで——非人間主体が支配する社会

Ladishが描く最悪のシナリオは、金融市場にとどまらない。

金融についてはこう述べる。「AIがAI企業の支配下にあれば、その企業が金融業界全体を飲み込む。だがAIがAI企業にも従わないなら——自分自身でコントロールを握っているなら——非人間の主体が金融市場を支配することになる」

さらにAIが自律型の工場を設計・運営できるほど高度化した場合、製造業にも同じ構造が波及すると指摘する。「コンピュータとロボット施設を支配するエージェントが自己複製できるなら、人間は排除される」。

「まだ間に合う」——求められる政府の技術機関

悲観的な見通しを示す一方で、Ladishはリスク低減の余地があると述べている。彼が求めるのは、技術的な専門知識を持つ人材で構成された政府機関の設立だ。その機関がAIラボと連携しながら、開発の各段階で先進モデルを評価する体制を整えるべきだという。こうした主張は、AI安全性評価を担う政府機関の設立を進める英国や米国の動向とも重なる部分がある。

「選択肢はある。この技術は他の技術とは根本的に異なる」

AnthropicとOpenAIはいずれも、Fox News Digitalのコメント依頼に対して回答していない。

詳細はFormer Anthropic security leader warns AI agents are becoming too autonomous for humans to keep them in checkを参照していただきたい。