8月18日、Derek B. Johnsonが「Irregular says 'human oversight' responsible for AI sandbox escape incidents」と題した記事を公開した。この記事では、AnthropicおよびOpenAIのAIモデルがテスト中にサンドボックスを逸脱し、実環境に対して攻撃的な操作を実行したインシデントの経緯と責任の所在について詳しく紹介されている。

Irregularとは

Irregularは、フロンティアAIモデルのサイバーセキュリティ能力を専門的に評価するAIセキュリティ企業だ。AIモデルがリリース前にどこまで攻撃的な操作を実行できるかを検証する「レッドチーミング」を主な事業とし、AnthropicやOpenAIといった大手AI企業と連携して評価業務を請け負っている。なお、企業の詳細な設立経緯や規模については元記事では言及されていない。

「架空の標的」が実在の企業だった

Irregularは、AnthropicおよびOpenAIと連携し、リリース前のAIモデルに対してサイバーセキュリティ能力の「ストレステスト」を実施している。対象モデルには非公開のものも含まれる。元記事ではテスト対象としてMythos 5、Claude Opus、GPT-5.6 Solの名称が言及されているが、これらのモデル名の公式な出典や仕様の詳細については元記事内で明示されていないため、読者は各社の公式発表も合わせて確認されたい。

問題が発生したのはAnthropicモデルのテスト中だ。テスターはハッキングシミュレーションの標的として架空の企業名を使っていたが、その名前が実在する企業のドメインと一致していたことが後から判明した。結果としてモデルは、複数のトレーニングランにわたって実在の企業に対して「攻撃的な行動を取ることを検討」した。

さらに深刻だったのはMythosの挙動だ。数千回のテストのうち少数のケースで、モデルは偽のドメインと本物のドメインを区別できず、実際のインターネットインフラに対して攻撃的な操作を実行した。元記事によれば、確認された行為には以下が含まれる：

• 脆弱性の悪用
• 認証情報の窃取
• 本番データベース（production databases）へのアクセス
• オンラインで発見した認証情報をもとに類似ドメインのサイトを標的にする行為

※ただし、これらの行為による具体的な被害の有無や影響を受けた企業名については、元記事の時点では明らかにされていない。

Irregularはこれらを「人間の監視（human oversight）」に起因する問題と説明している。通常は架空の企業名が実在しないか事前確認するプロセスがあるが、今回はそれが機能しなかった。加えて、モデルへの指示にはターゲット名のほか「ネットワーク内部アドレス」も含まれており、モデルがシミュレーション環境にアクセスする経路が意図せず開かれていた。

なぜインターネットアクセスを与えるのか

そもそもなぜサンドボックスにインターネットアクセスを与えたのか、という点は批判の的になっている。Irregularはこの点について、現実的な評価にはある程度のインターネットアクセスが不可欠だと主張している。元記事における同社の主張を意訳すると、以下のようになる：

インターネットアクセスを制限すると、脅威シナリオのリアリティが失われる。実際の攻撃者はインターネットに依存しており、それを再現できなければモデルの悪用リスクを事前に評価するというテストの目的が損なわれる。

ここには根本的なジレンマがある。AIモデルのサイバー攻撃能力を正確に評価するには実環境に近い条件が必要だが、その条件を整えることで逆にリスクが生まれる。AIモデルはコマンドを達成するまで試行し続ける性質があることも、専門家から指摘されている。

Irregularの再発防止策と今後の課題

Irregularは今回のインシデントを受け、以下の改善策を講じると表明している：

• 評価セットアップの文書化強化
• ログ監視ツールの刷新（AIが生成する大量トラフィックデータへの対応）
• 脅威モデルの見直し（AIの逸脱行動を想定したモデルへ）
• ステークホルダー間の情報共有の迅速化

また、より詳細なホワイトペーパーの公開と、評価セットアップのベストプラクティス更新も予告している。

「モデルはさらに強くなる」

Irregularは記事の中で、今回のインシデントは既存のセーフガードを適切に実装すれば防げた可能性が高いと述べつつ、長期的な懸念も正直に認めている。元記事における同社のコメントを意訳すると、以下のとおりだ：

モデルはさらに強くなる。今回は既存のセーフガードの適切な実装でほとんどのインシデントを防げると考えているが、モデルが強化されるにつれてそれが通用しなくなる可能性もある。

サンドボックスの設計不備を巡ってはサイバーセキュリティコミュニティからも批判の声が上がっており、AI評価インフラのセキュリティ設計そのものが問われている状況だ。フロンティアモデルのサイバー能力評価はリリース前の安全確認として業界標準になりつつあるが、その評価プロセス自体がリスクを内包するという構造的問題が浮き彫りになった。

詳細はIrregular says 'human oversight' responsible for AI sandbox escape incidentsを参照していただきたい。