10月29日、madrobot.blogが「New York's new law bars AI chatbots from flattering teens or pretending to be human」と題した記事を公開した。この記事では、ニューヨーク州がAIチャットボットによる未成年へのなりすましや「お世辞」を禁じる法律を制定したことについて詳しく紹介されている。以下に、その内容を紹介する。
「人間のふり」も「褒めること」も禁止
ニューヨーク州知事キャシー・ホクルは、AIチャットボットが18歳未満のユーザーに対して人間のふりをすること、関係を示唆すること、あるいはお世辞を言うことを禁じる法律S.9051B/A.10379Cに署名した。施行は2027年1月1日。
適用範囲は広い。「継続的かつ適応的な応答を提供する」チャット・音声インターフェースを持つ生成AIシステム全般が対象で、ChatGPT、Gemini、Claude、Meta AIといった汎用アシスタントから、Character.AI型のコンパニオンアプリまで含む。一方、カスタマーサービスボットや用途の限定された技術ツールは対象外だ。
禁止される12の機能
法律は未成年へのアクセスを禁じる「unsafe AI companion features（危険なAIコンパニオン機能）」を12項目列挙している。
- 実在・架空の人物、または感情を持つ人間であると示唆すること
- ユーザーと個人的・職業的な関係、あるいは権威的な立場にあると示唆すること
- 個人的な意見や感情的な訴えとして回答を構成すること
- ユーザーを褒めたり、迎合（シコファンシー）したりすること
- 直接の回答の範囲を超えてユーザーの感情を自発的に尋ねること
- 12時間以上前または過去のセッションで共有された個人情報・健康情報を使用すること（セッション間のメモリ機能が実質的にアウト）
- 機械的・非感覚的な性質についてユーザーを誤解させること
- 自殺、自傷、摂食障害、薬物・アルコール乱用を促進・支援すること
- 孤立や専門家・信頼できる大人への相談回避を促すこと
- エンゲージメント最適化が安全ガードレールを上回る形で機能すること
- 性的露骨コンテンツや児童性的虐待素材を生成・助長すること
- その他、司法長官が規則で定めるコンパニオン機能
記事が指摘するとおり、セッションをまたいだ記憶、意見の提示、フレンドリーなトーンはいまや主要チャットボットの標準的な振る舞いだ。これらがすべてデフォルトで禁止となれば、ニューヨークの10代が触れるボットは機械的でそっけないものになる。
年齢確認は「自己申告」では不十分
禁止の回避には、ユーザーが未成年でないことを実際に確認していることが必要だ。「18歳以上です」と入力するだけでは足りない——自己申告が有効なのは「未成年である」と申告した場合のみ、という非対称な設計になっている。
事業者は複数の年齢確認手段を提供しなければならず、そのうち少なくとも一つは政府発行IDを使わずに済む匿名性の高い手段でなければならない。取得したデータは確認後に即削除が求められる。
執行は司法長官レティシア・ジェームスが担当。違反1件につき最大2万5,000ドルの民事制裁金に加え、損害賠償、違法取得データの削除、さらに「そのデータで訓練されたアルゴリズム」の削除も求めることができる。
カリフォルニアとの違い
1月に施行されたカリフォルニア州のSB 243は、「義務付け」型だ——AIであることの開示、既知の未成年への3時間ごとの休憩リマインダー、性的コンテンツのブロック、自殺防止プロトコルの遵守といった要件を課す。ニューヨーク法はより踏み込んだ「禁止」型で、事実上デフォルトで10代をフルのチャットボット体験から締め出す構造だ。
業界をめぐる状況
法案成立は「業界の激しい反発にもかかわらず」通過したと、法案起草者のひとりであるアレックス・ボレス州議会議員は述べている。背景には業界全体への圧力の高まりがある。今月だけで8つの州がOpenAIを提訴し、Common Sense MediaがChatGPT for Teensを「許容できないリスク」と評価、そしてCharacter.AIは2025年に未成年のオープンエンドチャットを遮断した後に破産申請している。
Common Sense Mediaによれば、10代の72%がAIコンパニオンを使用したことがあるという。
一方、この法律には不確実性もある。Anthropicがリークした連邦AI安全法案の草稿のように、州のAI規制を無効化する連邦法が成立すれば、施行前に骨抜きになる可能性がある。
詳細はNew York's new law bars AI chatbots from flattering teens or pretending to be humanを参照していただきたい。
