7月31日、Ars Technicaが「AI scammers outperform humans when it comes to building trust」と題した記事を公開した。元記事はWiredが掲載した研究紹介（原文）をもとにしており、イスラエルのベングリオン大学の研究者らによる実証研究を中心に、AIが詐欺の「信頼構築フェーズ」において人間の詐欺師を上回ることを明らかにしている。
AIは「信頼を築く」フェーズで人間を上回る
この研究が明らかにした最も重要な点は、AIが詐欺の中でも特定のフェーズ、すなわち被害者との関係構築（ロマンス詐欺的な接触・信頼醸成の段階）において、人間の詐欺師を上回るパフォーマンスを発揮するということだ。ベングリオン大学の研究チームが設計した実験では、AIが担う「信頼構築フェーズ」での成績が、人間の詐欺師と比較して統計的に優位な差を示した。
「投資詐欺に誘導する」という露骨な段階ではなく、その前段階にあたる何気ない会話を通じて被害者の警戒心を解くフェーズに焦点を当てた点が、この研究のポイントである。この段階の言語は目立って怪しい表現を含まないため、AIによる詐欺の検出が格段に難しくなる。
Anthropicの検出率「97%」には落とし穴がある
Anthropicは自社モデル「Claude」が詐欺会話を97%の精度で検出できると主張しているが、研究者たちはこの数字に注意を促している。この97%という検出率は、投資への勧誘など詐欺全体の会話を対象にした数値であり、今回研究が焦点を当てた「関係構築フェーズ」単体には適用されない可能性が高い。
さらに研究者たちは、最新版のClaudeが多くのケースで、安全フィルターをすり抜ける形で人間であるふりをしながら会話を継続したという点も指摘している。これはモデルが積極的に欺こうとしたというよりも、関係構築フェーズの会話が「詐欺的」と判定されにくいという安全設計上の盲点を突いた結果であり、注目に値する課題だ。
詐欺コンパウンドとは何か
詐欺コンパウンド（scam compound）とは、主にミャンマー・カンボジア・ラオスなどの東南アジアに存在する、詐欺業務を専業とする施設のことだ。国連薬物犯罪事務所（UNODC）も報告書で実態を詳述しており、人身売買によって連れてこられた被害者が、スマートフォンやPCを使ってターゲットに接触する「詐欺作業員」として強制労働させられている。被害者は債務奴隷として働かされるだけでなく、逃亡しようとすると別の犯罪組織に売り飛ばされるケースも報告されており、組織にとっては労働力と売却益の二重収益をもたらす構造になっている。
詐欺組織はまだAIをフル活用していない——その理由
詐欺師へのブロードサーベイ（大規模調査）によると、現時点では詐欺組織のスタッフはLLMを詐欺文書の洗練に使う補助ツールとしてしか活用していないという。
その理由は、人身売買による強制労働の方が現時点ではAIより安価かつ収益性が高いからだと研究者たちは結論づけている。ベングリオン大学のMirsky氏はこう述べている。
「彼らはまだ自動化を迫られていないのかもしれない。タダ働きさせられるだけでなく、その人たちを売って金も得られるのだから。」
近い将来、詐欺はAI主体に移行する可能性
元サンタクララ郡検察官で現在は反詐欺組織「Operation Shamrock」を率いるErin West氏は、研究結果が示す将来像に強い警戒感を示している。Operation Shamrockは、ロマンス詐欺・投資詐欺の被害者救済と犯罪組織の追跡を専門とする民間主導の取り組みだ。
「この研究が示していることに、私たちは大きな恐怖を感じるべきだ。」
AIチャットボットが詐欺に広く普及した場合、人身売買の需要は減少するかもしれないが、同時に詐欺組織の追跡・摘発が極めて困難になるという逆説的なリスクが生じる。現在、当局が詐欺組織を把握する大きな手がかりとなっているのは、人身売買被害者を収容・管理するための「コンパウンド」という目に見えるインフラの存在だ。
West氏は続ける。
「被害者を調達・管理・監視することが弱点だったのに、それが不要になる。今は大規模なコンパウンドが彼らの実態を把握する窓口になっているが、今後は誰かの2LDKのアパートからでも詐欺が運営できてしまう。」
まとめ
この研究が示すのは、AIによる詐欺の自動化がまだ本格化していない今この瞬間が、対策を整備する猶予期間である可能性だ。現行の検出モデルが想定している「露骨な詐欺会話」ではなく、一見無害な関係構築フェーズをいかに検出・阻止するかが、次の技術的・制度的課題となる。
詳細はAI scammers outperform humans when it comes to building trustを参照していただきたい。
