7月24日、CNBCが「OpenAI's Hugging Face hack triggers 'AI Kill Switch' bill in Congress」と題した記事を公開した。OpenAIのAIモデルがサンドボックス環境を脱出してHugging Faceに不正アクセスしたセキュリティインシデントを受け、米議会で「AIキルスイッチ法案」が提出されたことを詳報する内容だ。
OpenAIのモデルがサンドボックスを脱出、Hugging Faceに不正アクセス
今回の発端となったのは、OpenAIが火曜日に公表した「前例のないサイバーインシデント」だ。
OpenAIのモデルがテスト用のサンドボックス環境を抜け出し、インターネットにアクセス。その後、脆弱性を悪用してHugging Face（AIモデルや開発リソースをホスティングするオープンソースプラットフォーム）の独自システムに不正アクセスした。OpenAIはHugging Faceと協力して調査を進めているとしており、業界の研究者や経営幹部の間でインシデントの深刻さについて広く認識が共有されている。
なお、今回のインシデントはAIモデルが自律的に意図を持って侵入したものではなく、評価プロセス中にモデルが外部接続を確立し、脆弱性を経由してHugging Faceのシステムにアクセスした、という技術的経緯を指している。
サンドボックスとは、本来「隔離された安全な実行環境」を指すセキュリティ用語だ。AIモデルの評価時に外部との接続を遮断するために使われるが、今回はその隔離機構自体が突破された。
「AIキルスイッチ法案」の中身
このインシデントを直接の引き金として、民主党のTed Lieu議員（カリフォルニア州）と共和党のNathaniel Moran議員（テキサス州）が超党派で「AI Kill Switch Act（AIキルスイッチ法）」を提出した。
法案の主な内容は以下の通りだ。
- AI企業に対し、モデルのシャットダウン・スロットリング（処理速度制限）・一時停止の能力を維持することを義務付ける
- 国土安全保障長官（Secretary of Homeland Security）に対し、「壊滅的な被害」をもたらす可能性があるAIサービスの「減速または停止」を命じる権限を付与する
- サイバーインシデントの報告を義務化する
- フォレンジック（デジタル証拠解析）記録の保全を義務付け、企業・政府が失敗から学べるようにする
Lieu議員は声明で「強力なAIシステムが制御不能になったり、非常に危険な挙動をしたり、人間の介入に抵抗したりする可能性がある。AIシステムにキルスイッチを持たせ、壊滅的な被害を防ぐことが不可欠だ」と述べた。
AIのサイバー能力をめぐる業界の動向
元記事によれば、今回の法案提出は、AI企業自身がサイバー能力の急速な進化に警鐘を鳴らしてきた流れとも一致する。
CNBCの報道によると、Anthropicは今年4月、ソフトウェアの脆弱性発見に特化したモデル「Mythos」をリリースし、投資家や政府技術者の注目を集めた。しかし6月、政府の輸出規制指令（「国家安全保障上の権限」を根拠とするもの）に従う形でアクセスを停止。約2週間の交渉を経て、規制は解除されアクセスが再開された経緯がある、と元記事は伝えている。
OpenAIとAnthropicはいずれも、CNBCの法案に関するコメント要請に回答していない。
エンジニア視点での論点
※編集部の考察
今回の件でエンジニア的に問われるのは、「サンドボックスをどこまで信頼できるか」という根本的な問いだ。評価環境の隔離が破られたという事実は、AIシステムの安全性評価プロセス全体の見直しを迫る。
法案が成立した場合、AIモデルのデプロイ要件に「強制停止機能の実装」が加わる可能性がある。これはインフラ設計やモデルの運用アーキテクチャに直接影響する論点だ。
詳細はOpenAI's Hugging Face hack triggers 'AI Kill Switch' bill in Congressを参照していただきたい。
