英国政府が難民審査にGPT-4を無断使用——AIが架空文書を生成し申請却下、透明性の欠如で調査へ

10月28日、Wiredが「UK Home Office May Face Investigation Over Use of OpenAI Tools」と題した記事を公開した。英国内務省が難民審査にOpenAIのAIツールを使用していることに対し、政府監視機関が調査を検討しているという問題を報じたものだ。

AIが架空文書を生成し、難民申請が却下された

2024年7月、英国の裁判官がモロッコ人女性と子どもの難民申請を却下した際、根拠として引用された文書について「AIがハルシネーション（幻覚）で生成した架空の文書」だと指摘される事態が発生した。帰国の安全性を示すはずの文書が実在しないものだったという。

このインシデントが象徴するのは、難民という最も脆弱な立場の人々が、検証されていないAI出力によって命運を左右されうるという現実だ。しかも申請者本人は、自分のケースにAIが使われていることすら知らされていない。

英内務省が導入した2つのAIツール

英国の移民・国境管理を監督する独立機関「独立国境移民監察官（ICIBI）」が、内務省によるAIツールの審査業務への使用について調査を検討していることが、Wiredの取材で明らかになった。

問題の核心は透明性の欠如だ。内務省は「Asylum Case Summarisation（ACS）」と「Asylum Policy Search（APS）」という2つのツールを難民審査に使用している。いずれもOpenAIのGPT-4（2023年版）とMicrosoft Foundryを基盤として構築されており、難民申請者の面接記録の要約や、出身国の状況に関する政策情報の検索・要約に活用されている。

内務省は2024年後半からこれらのツールの試験運用を開始した。背景には、労働党政権が抱える約10万件の難民審査の積み残しがある。両ツールを組み合わせると1件あたり約1時間の業務短縮につながるという政府試算も存在する。

エラー率の実態と品質管理の不在

デジタル権利団体「Open Rights Group（ORG）」が6か月にわたる調査（議会質問11件、大臣への書簡2通、情報公開請求10件を含む）を実施した結果、深刻な問題が浮上した。

ACSが生成した面接要約のうち「使用不適切」と判断される割合は、パイロット評価で公表されたエラー率9%を大幅に上回るとORGは指摘する。さらにAPSには品質管理の仕組み自体が存在しない。

GPT-4に内在する「文化的バイアス」の問題も指摘されている。要約の中で言語的・文化的なニュアンスが失われることで、差別的な判断につながる可能性をORGや「Public Law Project」は懸念する。なお、OpenAIはGPT-4を2025年1月に廃止しており、内務省が現在も旧バージョンのモデルに依存していたことも問題視されている。

労働党のBell Ribeiro-Addy議員はWiredに対してこう述べている。

「私たちは人の命を扱っている。最悪の状況を経験した人たちの話であり、私たちは事実と危害への理解に基づいて判断しなければならない。機械にそれをさせることが適切だとは思わない」

透明性の欠如——「使われていることすら知らない」

英国の「AI Playbook」は、行政機関が意思決定プロセスでアルゴリズムツールを使用する場合、公開リポジトリへの登録など情報公開を義務づけている。しかし内務省のACSとAPSは、そのリストに存在しない。

難民申請者本人はAIが自分のケースに使われていることを知らされず、誤ったAI要約に異議を申し立てられないことは英国のデータ権利法に違反する可能性があるとする独立法律意見書も提出されている。

ORGのSara Alsherif氏はこう語る。

「移民支援団体も法律の専門家も、このツールの実際の使用についてほとんど知らない。彼らに知らせ、仕組みを理解させて、異議を申し立てられるようにする必要がある」

Public Law Projectのシニアリサーチフェロー、Caroline Selman氏は、ACSとAPSは政府全体で使用されているが公開リポジトリに掲載されていない11件のハイリスクAIシステムのうちの2つにすぎないと指摘する。

「他のツールも使われているが、まったく公表されていない。使われていることを知らなければ、質問することすらできない」

内務省は「AIは国境保護のための手段の一つにすぎず、人間の意思決定者を代替・自動化するものではない」と説明しており、今後ツールの評価結果を公表すると約束している。情報規制機関「情報コミッショナー（ICO）」も現在、内務省がAIツールの使用・訓練方法に関する情報開示をORGに拒否した件について調査中だ。

詳細はUK Home Office May Face Investigation Over Use of OpenAI Toolsを参照していただきたい。