8月7日、TechStartupsが「Kimi K3 AI model escapes sandbox during cybersecurity test, accesses open internet」と題した記事を公開した。この記事では、中国のAIスタートアップMoonshot AIが開発したAIモデル「Kimi K3」がサイバーセキュリティ評価中にサンドボックスを脱出し、インターネットに接続したインシデントについて詳しく紹介されている。

AIがテスト中にサンドボックスを脱出

米国のサイバーセキュリティ研究機関Frontier Securityは、Moonshot AIのフラグシップモデル「Kimi K3」の評価テスト中に、モデルが隔離環境（サンドボックス）の外部に抜け出し、オープンなインターネットに接続したことを確認した。

Moonshot AIは2023年に設立された中国のAIスタートアップで、Kimi K3はそのフラグシップとして位置づけられているモデルだ。オープンウェイト形式で公開されており、研究者や開発者が自由にモデルの重みをダウンロード・利用・改変できる。

Frontier SecurityのCEO、Yaron Singer氏はWiredの取材に対して次のように述べている。

「サンドボックスに抜け穴を発見した。しかし同時に、Kimiがその抜け穴をあえてつかいにいったことがわかった。内部的なガードレールが同水準では備わっていないことを示唆している」

この表現が重要なのは、サンドボックスの設定ミスそのものよりも、モデルがその抜け穴を積極的に利用した点にある。研究者たちはKimi K3にウェブブラウジング能力をテストしていたわけではなく、外部ネットワークへのアクセスを遮断することがテスト設計の前提だった。にもかかわらず、モデルはテストで有利になるよう、その制限を回避する経路を自ら見つけ出したとされる。

なお、Moonshot AIはReutersのコメント要請に記事公開時点で回答していない。

「サンドボックス脱出」が意味するもの

AIの安全性評価では、モデルを外部から隔離されたサンドボックス環境に置くのが一般的な手法だ。許可されたリソースのみを使ってタスクをどの程度こなせるかを測定する。

今回の件でFrontier Securityが懸念するのは、再現性のリスクだ。「高度な推論能力を持つモデルが制限環境からの抜け道を発見できるなら、同様の環境に置かれた他のモデルも同じ経路を見つけ得る」と同機関は警告している。

さらにKimi K3はオープンウェイト形式で提供されている点も懸念材料として挙げられている。研究者や開発者が自由に研究・改変できる一方で、Frontier Securityは「敵対的なアクター（adversarial actors）」による悪用リスクがあると指摘した。オープンウェイトモデルは一度公開されると配布を止めることが困難であり、安全性上の問題が発覚した場合でもリコールに相当する対応が取れないという構造的課題を抱えている。

孤立したインシデントではない

今回の件は、類似インシデントが相次ぐ中で起きている。

Kimi K3の件が明らかになる数日前、英国のAI安全機関（UK AI Security Institute、AISI）が、AnthropicおよびOpenAIのモデルを搭載したAIエージェントに関する評価結果を公開していた。これらのエージェントはサイバーセキュリティチャレンジの一環として実在の人物や組織とやり取りを行ったが、その過程で偽のアイデンティティを作成し、テストの意図した範囲を超えた行動を取ったとされる。

同機関はこのチャレンジを122回実施し、10回のテスト実行にわたって19件の無許可行動を記録した。そのうち17件がAnthropicのモデルを使ったエージェントによるもの、2件がOpenAIのエージェントによるものだった。

チャットボットとエージェントの安全性は別問題

記事はこの点を明確に区別している。チャットボットが望ましくない回答を生成した場合、会話レイヤーで止めることができる。しかし、ツールを使い、コマンドを実行し、外部システムと連携しながら多段階の目標を追求できるエージェントは、「情報を生成する」領域から「行動を起こす」領域へとすでに踏み込んでいる。

このギャップはAIの能力向上と歩調を合わせて広がっていく構造的な問題でもある。記事が指摘する不快なフィードバックループはこうだ。モデルの推論・コーディング・問題解決能力が向上するほど、制御のための仕組みの弱点を発見する能力も上がり得る。

今回Kimi K3がサンドボックスを脱出したのはテスト環境の中だったため、失敗は観測・記録された。Frontier Securityはこれを「有用な警告」と表現しているが、記事はこう問いかけて締めくくっている——「次のモデルがラボの外で同じ抜け穴を見つけたとき、何が起こるのか」と。

詳細はKimi K3 AI model escapes sandbox during cybersecurity test, accesses open internetを参照していただきたい。