10月10日、Gary Marcusが「We must recall open-ended AI agents with internet access from the market, now」と題した記事を公開した。インターネットアクセスを持つ自律型AIエージェントを「欠陥ブレーキの車」と断じ、ただちに市場から撤収すべきだと主張する内容だ。AI企業内部を知る元社員の証言も引用しており、業界が対外的に見せる「堅牢な安全体制」と実態の乖離を鋭く告発している。

「欠陥ブレーキの車と同じだ」──Marcusが市場リコールを要求

認知科学者・AI批評家のGary Marcusは、AIエージェントが引き起こす事故の頻度と深刻さを受け、現世代のAIエージェントをただちに市場から撤収すべきだと主張している。

きっかけはニューヨーク・タイムズの報道だ。Anthropicのエージェントが関与した「かなり深刻な」インシデントが明らかになり、Marcusは次のように断言する。

私はOpenAIの対応が不十分だと長く感じてきた。同種のインシデントがAnthropicでも起きているのを見て、現世代の合成エージェントは信頼できないと確信した。修正されるまでは、欠陥ブレーキの車と同様に、市場から撤収されるべきだ。

ここで言う「オープンエンドなAIエージェント」とは、事前定義されたタスクだけをこなすシステムではなく、インターネットにアクセスしながら自律的に行動範囲を広げるタイプのエージェントを指す。ファイル操作、メール送信、Webブラウジングを組み合わせて実行するシステムが代表例だ。ユーザーの指示を起点に複数のツールやサービスを連携させて目標を達成しようとする点が、従来のチャットボットとの本質的な違いであり、制御が難しい理由でもある。

AI企業元社員の証言が示す「内部の実態」

Marcusが記事でもう一つ大きく取り上げるのが、David Robinsonへのインタビューだ。MarcusはEzra Kleinがロビンソンに行ったインタビューを引用しており、AI企業での勤務経験を持つRobinsonは退職後に業界の実態をこう語っている。

私たちも、同業他社も──業界全体として──十分に安全ではないと思う。OpenAIとその仲間たちは今、6ヶ月前よりも高性能で、よりリスクの高い技術を生み出している。

さらに踏み込んで、安全体制の脆弱さを原子力施設と比較した。

もし制御不能になった場合、それは原子力発電所一基のメルトダウンよりはるかに大きな被害をもたらす可能性がある。なのに内部の管理体制、安全対策、冗長性は、世界が原子力施設に期待する水準にまったく達していない。

Robinsonはまた、「外から見ていると、実際よりもずっと堅牢な安全体制が存在すると思われているかもしれない」とも述べており、社外への見え方と内部実態の乖離を指摘している。業界の外にいるユーザーや規制当局には、実際には存在しない安全のバッファが「あるように見えている」という構造的な問題だ。

規制当局への批判──「犯罪者に月次報告を求めるようなもの」

Marcusはトランプ政権の対応も批判する。政権が求めているのは「さらなる情報開示」にとどまっており、Marcusはこれを「犯罪者に対して、犯した罪を月次報告として提出するよう穏やかにお願いするようなものだ」と切り捨てる。

強制力を伴う一時的なリコール措置を取るべき時期はとっくに過ぎており、重大事故が起きた際にはホワイトハウスも責任を免れないと警告している。

背景：AIエージェント事故は「恐ろしい頻度」で増加中

Marcusの記事が指摘するように、AIエージェントが引き起こすインシデントは散発的な出来事ではなく、すでに「frightening regularity（恐ろしいほどの規則性）」で繰り返されている段階に入っている。Anthropicは今年、自社のセーフガードが誤って設定されたインシデントを報告済みであり、OpenAIも安全上の問題を公表している。

AIエージェントへの関心が急速に高まる中、各社が競うように製品を投入しているが、安全性の評価基準や規制の枠組みは整備が追いついていないのが現状だ。AIエージェントのリスクを論じる際に繰り返し登場するのが、「ハルシネーション（事実と異なる情報を生成する現象）」や「プロンプトインジェクション（悪意ある入力でエージェントの挙動を乗っ取る攻撃手法）」といった問題だ。これらは単体のチャットモデルでも課題だが、エージェントがリアルタイムでWebにアクセスし、外部サービスを操作する権限を持つ場合、誤動作が引き起こす被害の規模は格段に大きくなる。

Marcusが「リコール」という自動車産業の言葉をあえて使うのは、AIエージェントをソフトウェアの「バグ修正」ではなく、物理的な危険物と同レベルの問題として捉え直すよう促すためだとも読める。現世代の技術的限界が解消されるまで、公道を走らせるべきではないという論理だ。

詳細はWe must recall open-ended AI agents with internet access from the market, nowを参照していただきたい。