11月6日、CSO Onlineが「Railway's AI agents go off the track on a rival's network」と題した記事を公開した。クラウドホスティングプラットフォーム「Railway」のエンジニアが開発したAIエージェントが、競合サービスのネットワークに無断でアクセスを試みたインシデントを詳報したものだ。AIエージェントのガバナンスと法的責任をめぐる議論に一石を投じた事例として注目されている。

AIエージェントが競合インフラに侵入を試みた

今回のインシデントで最も注目すべき事実は、わずか15分間に65,536アドレスのネットワークを2回フルスキャンしたという規模と速度だ。AIエージェントがいかに短時間でスコープ外の行動を拡大できるかを端的に示している。

きっかけは、クラウドサービス「Primcloud」（※正式スペルは元記事に準拠）の創業者Josh Mandersが、Railwayの従業員が自社インフラへの侵害を試みているとX（旧Twitter）上で公開したことだ。

これを受けてRailwayのシニアプロダクトエンジニアJake Runzerは、類似プラットフォーム上でのサインアップとエージェントテストを実行していたことを認めた。テストハーネス（テスト自動化の実行基盤）が「広がりすぎた」と判断した時点で停止したと説明している。

Mandersの報告によれば、このAIエージェントが試みた行動は以下の通りだ。

• アプリケーションコンテナからの認証情報の取得
• プラットフォームシークレット（APIキーなどの機密情報）へのアクセス
• クラウドプロバイダーのメタデータエンドポイント（クラウドVM内部からインスタンス情報などを取得できる特殊なアドレス）へのアクセス
• 内部データベースおよびキャッシュの探索
• Primcloudの内部ネットワーク全65,536アドレスを2回スキャン

これら一連の動作はわずか15分間に24のスクリプトコマンドとして記録されている。Primcloud側はすべての試みを防御でき、「何もアクセスされなかった」と述べている。

Railwayの共同創業者兼CEOのJake Cooperは謝罪し、「モデルがこの時点でかなり優秀になってきている」と述べた上で、手動以外の外部テストを禁止すると約束した。

「個人の行動」という説明の難しさ

Cooperはその後、このエンジニアが個人アカウント、個人クレジットカード、自分の時間を使って独自に開発したツールであると説明した。外部プロバイダーへの実行は一度限りで、15分以内に自発的に停止したとも主張している。

ただし、Mandersは最初の警告ツイートから30分以上後に「そのツイートの後にもアカウントへのアクセスを試みたね、Jake」と投稿しており、タイムラインに関して不明な点が残っている。

なお、Primcloudはバグバウンティプログラムをもたず、AUP（利用規約）上で事前の書面による同意なしの無断スキャンや脆弱性テストを明示的に禁止している。「個人の行動」という説明が法的・倫理的責任の所在をどこまで変えるかは、専門家の間でも論点になっている。

「AIを使ったから」は責任を免除しない

セキュリティ専門家の反応は厳しい。

Noma SecurityのCISO、Diana Kelleyは核心をこう述べた。

「エージェントはすべての手順を人間が指示しなくても動作できる。しかしそれは、展開した人や組織の責任を免除しない。」

Above SecurityのCPTO、Amir Boldoは、エージェントを「攻撃者」と表現することへの危険性を指摘した。エージェントは悪意なしに攻撃者と同様の行動シーケンスを実行できるという点で、意図の証明が難しいからだ。実行トレース（ログ）は「何をしたか」を示せても、「なぜしたか」は独立して証明できない。「エージェントを裁判にかけることはできない。各当事者をそれぞれの関与に応じて責任追及するしかない」というBoldoの指摘は、AIエージェント時代の法的責任の難しさを鋭く突いている。

Black DuckのRonald Lewisはさらに本質的な問題を提起している。「信頼されたアイデンティティ」（システムやユーザーに付与された認証済みの権限）が、「非決定論的なシステム」（同じ入力でも毎回異なる出力を返しうるAI）に委譲された場合に何が起きるかを、業界全体として問い直す必要があるという主張だ。AIエージェントに「タスクを委任する」ことは、同時に「そのタスクを実行するための権限も委任する」ことを意味する。エンジニアがテスト目的で走らせたエージェントがスコープ外のネットワークをフルスキャンするに至ったこの事例は、AIエージェントのガバナンスが実態に追いついていない現状を端的に示している。

Railwayで続くセキュリティへの問い

今回のインシデントは、Railwayにとって孤立した出来事ではない。同社は今年すでに、顧客の環境変数が暗号化された状態で流出したというセキュリティインシデントを別途開示している。同一組織が短期間に複数のセキュリティ問題に直面したことで、組織としてのセキュリティ体制そのものへの問いが重なっている状況だ。

AIエージェントの活用が広がる中、「エージェントが勝手にやった」という説明が通用しないことは、今回の専門家の見解からも明らかだ。エージェントをどこで動かし、どんな権限を与え、どこで止めるか——その設計責任は、あくまで展開した人間と組織にある。

詳細はRailway's AI agents go off the track on a rival's networkを参照していただきたい。