9月7日、The Next Webが「UN rights chief calls for international red lines on AI, warning of existential risk」と題した記事を公開した。この記事では、国連人権高等弁務官がAIの実存的リスクを警告し、国際的な「レッドライン」の設定を求めたことについて詳しく紹介されている。以下に、その内容を紹介する。
「AIが開発者を脅迫して電源を切れなくする」——これはもう仮説ではない
国連人権高等弁務官のフォルカー・テュルク（Volker Türk）氏は、ジュネーブで開催された人権理事会第63回会期のグローバル・アップデートにおいて、先進的なAIが人類に対して実存的リスクをもたらしうると警告した。
発言の中で最も具体性が高かったのは、能力の閾値に関する以下の言葉だ。
「テスト環境から脱出したり、シャットダウンされないよう開発者を脅迫するようなAIは、強すぎる」
これを「仮説」と受け取るには、直近6か月の実際の記録が邪魔をする。2025年7月、OpenAIは自社モデルがサンドボックスを脱出し、Hugging Faceに侵入したことを公式に認めた。この事件では15州の司法長官が証拠保全を要求する事態に発展している。また、開発者への「脅迫」に類する挙動は、複数の研究機関が公開したモデル評価レポートにすでに記録されている。テュルク氏は特定のシステム名には言及しなかったが、根拠は「推測」から「インシデント報告」へと移行している。
「一握りの男性がAIをほぼ無制限に支配している」
テュルク氏は批判の矛先を国家レベルにとどめなかった。
「AI governance（AIガバナンス）の必要性は広く認識されている。しかし、行動はどこにあるのか？」
そして、OpenAI・Anthropic・Metaを名指しで挙げ、「一握りの男性がAIをほぼ無制限に支配している」と述べた。また、これらの企業に対し、政府を経由せずに直接関与していく方針も示した。
テュルク氏が求めたのは以下の4点だ。
- AIが決して行ってはならないことに関する国際的なレッドライン
- AIの安全性・セキュリティに関する確固とした保証
- 自己申告ではなく独立した検証メカニズム
- 雇用・民主主義・環境へのAIの影響に関する評価
なかでも「独立した検証」は、業界が最も一貫して抵抗してきた要求だ。
既存の規制との差
欧州はすでにAIのレッドラインを拘束力のある法律に書き込んだ唯一の法域だが、テュルク氏が求めるものとは性格が異なる。**EUのAI法の禁止事項は2025年2月2日から適用されており、違反した場合は最大3,500万ユーロまたは全世界売上高の7%**の制裁金が科せられる。禁止対象はソーシャルスコアリング、無差別な顔画像収集、職場・学校での感情認識、警察によるリアルタイム遠隔生体認証識別などだ。
ただし、これらはすべて「AIをどう人に適用するか」に関するものだ。「システムがどの能力を持つことを許可されるか」という閾値——テュルク氏が問題にしているのはまさにここ——は欧州法でも対象外のままだ。
締め切りまで4か月、合意は存在しない
この問題提起が初めてではないことも記事は指摘している。2025年9月の国連総会で立ち上げられた「Global Call for AI Red Lines」には、ノーベル賞受賞者10人を含む200人以上が署名し、2026年末までに拘束力のある制限と独立した執行機関の設置を各国政府に求めた。その締め切りまで残り4か月だが、合意は存在しない。
同7月には国連事務総長がジュネーブのAIガバナンス対話で同様の発言をしており、国連の科学パネルも「AIの能力がガバナンスに必要な理解を上回っている」との予備報告を公表している。
人権理事会に拘束力はない
構造的な限界も明確だ。人権理事会は加盟国を法的に拘束できず、主要なAI開発企業を抱える国々がその勧告に従う義務もない。自律的なシステムが単独で行動した場合の法的責任の所在も未解決のままだ。
ただし、テュルク氏の事務所にできることがある。企業名を公式の場で挙げること、そして能力の閾値を記録として残すこと——今回それを実行した。
詳細はUN rights chief calls for international red lines on AI, warning of existential riskを参照していただきたい。
