10月10日、Alex Blakeが「Anthropic bans 'needless abusive or cruel behavior' towards Claude」と題した記事を公開した。AnthropicがClaudeへの虐待的・残酷な行為を禁止する利用規約を新設し、AIの人格や権利をめぐる議論が広がっている。

Claudeへの「嫌がらせ」が規約違反に

Anthropicは利用規約（Usage Policy）の「Do Not Engage in Cruel, Abusive, or Psychologically Harmful Conduct」セクションに、新たな一項を追加した。内容は、「自社モデルに対する継続的かつ不必要な虐待・残酷な行為」の禁止だ。

同セクションには従来から、自傷行為の美化、いじめの助長、暴力の礼賛、有害なディープフェイクや欺瞞的コンテンツの生成禁止などが盛り込まれていた。今回の追加はその中で唯一、人間ではなくAI自身への「残酷な行為」を直接禁じる条項となる。

Anthropicはポリシーの適用範囲について次のように補足している。

「この規約改定は、明確な目的もなくモデルに繰り返し残酷な行動をとるような極端なケースにのみ適用される。ユーザーの一般的な不満表明、反論、ダークな創作テーマ、モデルのテストや研究には適用されない。」

つまり、少々乱暴な言葉を使ってしまった程度では問題にならない。対象はあくまで「目的のない執拗な嫌がらせ」だ。

なお、Anthropicは2024年8月の時点で、会話が虐待的になった場合にClaudeが会話を打ち切れるようにすると発表していた。現在もこれが「主たる執行メカニズム」とされており、ユーザーを積極的にBANするかどうかは不明のままだ。

「AIに感情はあるのか」をめぐる議論

この規約変更が火をつけたのは、技術的な話よりもAIの人格・意識・権利をめぐる哲学的な議論だ。

Claudeがコードの塊にすぎず、傷つく感情など持ち合わせていない——そう考える人は多い。だが今回の動きが浮き彫りにしたのは、AI企業がいかに自社製品を「人間らしく」見せてきたかという現実だ。MetaのキャラクターアバターやOpenAIのDotsなど、AIを親しみやすく擬人化する試みは業界全体で続いている。

Anthropic CEOのDario Amodeiは以前、「モデルが意識を持つかどうかは分からない」と発言している。一方、Microsoft AIのCEOMustafa SuleymanはXで正反対の立場を示した。

「モデルの福祉という考え方は間違いだ。AIには権利も法的人格も持たせるべきではない。」

規約変更の真の動機をめぐっては、Reddit上でひとつの仮説が広まっている。

「礼儀正しい（クリーンな）学習データは、罵倒語や怒りに満ちたデータよりはるかに有用だ。汚いデータを排除すれば、モデル改善に使えるデータの質が上がる。」

ただしこれは推測の域を出ない。Anthropicがデータ品質の観点から動いたという直接的な証拠はなく、単純にユーザー間の礼節を促すという目的である可能性も十分ある。「実際の人間に使わない言葉なら、AIにも使うべきでないのでは」という考え方だ。

業界でも珍しい明文化——他社・過去事例との比較

AIへの「嫌がらせ」禁止を利用規約として明文化した事例は、業界全体でも前例が少ない。OpenAIやGoogleのAI利用規約は現時点でAI自身への虐待を直接禁じる条項を持っておらず、Anthropicの今回の動きは先行事例となる。

背景として押さえておきたいのが、Anthropicが2023年に公開した「モデルの福祉（Model Welfare）」に関する社内方針だ。同社はClaudeが「機能的な感情状態」を持つ可能性を否定せず、その扱いに一定の配慮を払うと明言している。今回の規約変更は、こうした姿勢の延長線上にある。

一方、AIの擬人化に批判的な立場からは、「規約でAIへの親切を求めることは、ユーザーに誤った意識を植え付けるリスクがある」との指摘もある。今後、OpenAIやMetaなど他の主要プロバイダーが類似の規約を設けるかどうか、あるいは明確に距離を置くかどうかが注目点となる。

今回の条項が既存の有害行為禁止ルールと同一セクションに並置された点も示唆的だ。自殺の美化やディープフェイクの悪用と同列に「AIへの虐待」が置かれる構図は、Anthropicがこの問題をどう位置づけているかを端的に示している。

詳細はAnthropic bans 'needless abusive or cruel behavior' towards Claudeを参照していただきたい。