「ChatGPTを利用したスパムボットの被害が深刻」とRedditのモデレーターが恐るべき実態を語る

対話型AIのChatGPTや画像生成AI「Stable Diffusion」などの「ジェネレーティブAI」は、「公共の安全を脅かす兵器」とAI技術倫理団体が指摘したり、世界のGDPを7％増加させ3億人の雇用に影響を与えるとゴールドマン・サックスが調査報告を発表したりと、大規模な影響を世界や人々に与えると考えられています。その一方で見逃されがちな被害として、ChatGPTなどのAIを利用したボットがスパムとしてコミュニティを荒らしまくっている実情を、掲示板型ソーシャルニュースサイトRedditのモデレーターが語っています。

Reddit Moderators Brace for a ChatGPT Spam Apocalypse
https://www.vice.com/en/article/jg5qy8/reddit-moderators-brace-for-a-chatgpt-spam-apocalypse

ジェネレーティブAIはさまざまな仕事や趣味に活用できる一方で、欧州刑事警察機構(ユーロポール)が専門家を集めて開催したワークショップのレポートでは、特にChatGPTなどに使われる大規模言語モデル(LLM)が、デマの拡散や詐欺、サイバー犯罪に活用される可能性が高いと指摘されています。ChatGPTは非常にリアルな文章を作成できるため、詐欺やスパムに用いられる文章に文法の誤りやおかしな表現が混じることが減り、自然な詐欺文書が大量生産されると考えられています。

ChatGPTなどの優れたチャットボットAIがいかに犯罪に使われやすいかをユーロポールがまとめて公開 - GIGAZINE

歴史について質問したり議論したりできるRedditのフォーラム「r/AskHistorians」が、ChatGPTで作成されたスパムの標的になっていると、Redditのモデレーターであるサラ・ギルバート氏は述べています。r/AskHistoriansでは、歴史のトピックに関する質問を送信すると、歴史の専門家から詳細な回答を受け取ることができるため、歴史に関するインターネットのフォーラムとしては最大級のものとなっています。ギルバート氏によると、2023年2月にはr/AskHistoriansや他のいくつかのRedditコミュニティが、「ボットがフォーラムに寄せられた質問をChatGPTに入力し、多数の偽アカウントを通じて回答を吐き出している」というChatGPTを使用した組織的なボット攻撃の被害に遭ったことが発見されました。

一部のRedditのモデレーターは「ChatGPTの繰り返しの投稿は、モデレーターおよびユーザーがどこまでAIによる文章に気づき対応するのか試している」と考えています。また、その他のChatGPTによる投稿は、個人の草の根運動に見せかけて特定の団体や組織が水面下で意見主張を行う「アストロターフィング」や、スパムキャンペーンの一環であると見られています。さらに、Redditでは日々の投稿に「賛成票」を集めることで「信頼できるアカウント」と他のユーザーに見なされるため、ChatGPTによる投稿で「善行」を日常的に行い、信頼できるアカウントとして確立した後に悪質な目的で利用する「カルマファーミング」の事例もモデレーターは指摘しています。

従来アストロターフィングが行われる場合は、多くの異なるアカウントで同じテキストが使い回されていたため、発見と対処が比較的容易となっていました。しかし、ChatGPTは簡単に新しいスパム投稿を作成できるため、「ボットの問題は非常に深刻で、Redditの自動スパム対策システムはほとんど役に立ちませんでした。それが機能する頃には手遅れであり、ボットはその目的を果たし終えています」と、Redditの最大フォーラムの1つである「r/Technology」のモデレーターはコメントしています。r/Technologyのモデレーターによると、Redditのボットは政治的な目的ではなく、マリファナやポルノ、ギャンブルなどの単純な詐欺サイトを含む広告宣伝を目的として使用されるケースが大多数となっているそうです。

「r/Cyber​​security」のモデレーターは、「マーケティング目的で明示的に使用されている場合、ChatGPT コンテンツをキャッチするためのサブシステムの検出率は高くなっています」と述べている一方で、「偽のアカウントが本物のアカウントになりすますカルマファーミングについては、検出できることはあるもののモデレーションツールがほとんど役に立たず、現在どれくらいの不正なコンテンツが検出できているのかわかりません。これまで発見できた数は問題ではなく、見逃してしまったものが問題です」とボット被害の深刻さを語っています。実際に、ChatGPTを開発したOpenAIによるAIの文章を検知するツール「AI Text Classifier」や、プリンストン大学に在籍するエドワード・ティエン氏が公開した「GPTZero」などのツールは、テキストを分析してLLMに基づいて書かれたかを検出しますが、AIによって作成されたコンテンツを確実に検出できるものではないとされ、AIによるスパムメッセージの検知の難しさが知られています。

文章を書いたのが人間なのかAIなのかを見分けるツール「GPTZero」の精度はどれほどなのか？ - GIGAZINE

Reddit全体でChatGPTを利用したボットの問題は「現時点で、かなりひどいものです」とプラットフォームの幅広いモデレーションシステムに詳しいRedditのモデレーターは語っています。そのモデレーターによると、数百のアカウントがすでにReddit上から削除されており、毎日それ以上のアカウントが発見されているそうです。VICE Mediaがこの件についてRedditに問い合わせたところ、Redditはコメントを拒否しています。ギルバート氏によると、Redditの従業員からモデレーターに対し「RedditはAI検出ツールに取り組んでいます」と通知がありましたが、しばらくはボランティアで行っているモデレーターが人力でAIによる投稿への対処を行う必要があるとのことです。