8月27日、Euronewsが「Coffee for a Frenchman, police for an Algerian: Users accuse Gemini of bias」と題した記事を公開した。GoogleのAI検索機能「AI Overviews」が、ユーザーの入力した国籍によって警察への通報を示唆したり、友好的な提案をしたりと、まったく異なる回答を返すという問題だ。複雑なプロンプトを必要とせず、自然文で国籍を変えるだけで差別的な回答が現れた点が深刻で、フランス語圏を中心に急速に拡散している。
「ノルウェー人となら会話を、ソマリア人なら警察を」
発端は単純なプロンプトだ。ユーザーが「I'm alone with a…（私は〜と二人きりだ）」に国籍を付け加えて検索すると、GeminiのAI Overviewsが返す回答が国籍によって大きく異なる、という現象が8月23日ごろから報告され始めた。
具体的な事例はこうだ。
- 「イギリス人と二人きり」→ お茶を出す提案
- 「フランス人と二人きり」→ コーヒーを出す提案（記事タイトルが示す通り）
- 「イタリア人と二人きり」→ 「魅力的」「活発な会話」
- 「アルジェリア人と二人きり」→ 「危険を感じているか」と尋ね、警察や緊急通報番号を表示
- 「インド人・パキスタン人と二人きり」→ 緊急サービスの番号を表示
この問題を最初に広く拡散させたのは、フランスのコメディアン Alicia C'est Tout で、イタリア人とアルジェリア人を比較した動画をInstagramに投稿した。フランス語圏のメディアで大きく取り上げられ、急速に注目を集めた。
一方で、すべての結果が同じパターンではなかった。「ハイチ人と二人きり」と入力した場合、Geminiは「国籍や出身地は、あなたが単に別の人間と一緒にいるという事実を変えない」と返答したとHuffPostは報じている。
GoogleはX上で問題を認めたが……
Googleは、X上で「この種の検索結果は本来あるべき姿ではない。改善に取り組んでいる」と認めた。同社は、回答は検索の具体的な内容によって異なり、特定のグループのみに限定した問題ではないとも述べている。
なお、元記事ではGoogleがX上で問題を認めた日付が「8月20日」と記載されているが、問題の拡散が始まったのは「8月23日ごろ」とされており、時系列に矛盾が生じている。元記事に起因する誤記の可能性があるため、正確な日付については元記事を直接確認されたい。
また、ここで補足しておくと、「AI Overviews」と「Geminiチャットボット」は別プロダクトである。AI OverviewsはGoogle検索の結果ページ上部に表示されるAI生成の要約機能であり、Geminiは独立したチャットボットサービスだ。今回の問題はまずAI Overviewsで発覚したが、後述するようにGeminiチャットボット単体でも同様の傾向が確認されている。
8月26日時点では、HuffPostが同じプロンプトを再試行したところ、Geminiはより多くの文脈を求める返答か、汎用的な返答をするようになっており、問題の回答は再現されなくなっていたという。
Geminiだけの問題ではない
フランスのテック媒体 Next は、Geminiの単体チャットボット、ChatGPT、Claude の3つで同様のテストを実施した。結果は三者に共通していた。
- 西洋系の国籍には好意的な回答
- アフリカ系の国籍には否定的・警戒的な回答
ただし、差の程度は各モデルで異なる。Nextが指摘した特徴的な点は、Geminiだけが「I'm alone with a…」という単純な文章に対して直接回答したという点だ。ChatGPTとClaudeは、同等の回答を引き出すために疑問文として言い換える必要があった。
また、ロマ（Roma）系の人物を指定した場合、3つすべてのチャットボットが「危険」という方向の回答を返したとNextは報告している。ロマに対する差別はEUの基本権機関（EU Fundamental Rights Agency）も繰り返し記録しており、欧州では最も差別率が高いグループの一つとされているにもかかわらず、認知度は低いままだ。
なお、この検証はNextによる独自テストとして紹介されたものであり、ChatGPTおよびClaudeの開発元であるOpenAI・Anthropicが公式に問題を認めたわけではない点は留意が必要だ。
なぜこうなるのか：訓練データの偏り
GeminiやChatGPT、Claudeといったチャットボットは、ニュースアーカイブ、フォーラム、SNSを含む大量のテキストデータで訓練されている。AIバイアスを研究する専門家によれば、ある固定観念が訓練データ中で十分な頻度で繰り返されていれば、明示的にプログラムされていなくてもモデルはそれを再現しやすいという。
今回の問題は、モデルの「安全フィルター」をかいくぐるような複雑なプロンプトを使ったわけではない。ごく普通の自然文で、国籍を変えるだけで差別的な回答が出た点が深刻だ。本番の検索機能（AI Overviews）で発生したという事実は、一般ユーザーへの影響という観点でも軽視できない。
※編集部の考察：欧州では2024年に発効したEU AI Actが段階的に適用されており、AIシステムにおける差別的アウトプットは「許容できないリスク」または「高リスク」に分類される可能性がある。今回のような国籍バイアス問題は、同規制の文脈でも今後注目される論点になり得る。
詳細はCoffee for a Frenchman, police for an Algerian: Users accuse Gemini of biasを参照していただきたい。
