9月14日、Joseph Coxが「Inside 'Project Lily': The Humans Reading Your ChatGPT Chats」と題した記事を公開した。週間アクティブユーザーが9億人を超えるChatGPTの会話が、ユーザーの知らないうちに人間の目に触れている。OpenAIは「Project Lily」というコードネームのもと、実際のユーザーの会話を外部コントラクターに読ませてモデル改善を行っており、404 Mediaはその内部資料を入手した。
人間がChatGPTの会話を読んでいる
OpenAIは数百人規模のコントラクター（業務委託の外部作業者）を雇用し、実際のChatGPTユーザーが入力したプロンプトを読ませてモデルの改善に活用している。この取り組みのコードネームが「Project Lily」だ。404 Mediaはコントラクター向けの指示書、Slackチャンネルの記録、実際のユーザープロンプト、評価システムに関する内部資料を入手した。
なお、週間アクティブユーザー数の9億人超はChatGPT全体の規模を示す数字であり、全ユーザーのプロンプトが採点対象になっているわけではない。採点対象はサンプリングされた会話データに限られる。
プロンプトはユーザー名を除いた匿名形式で提供されるが、会話の内容には依然として個人情報が含まれることがある。ダッシュボードには「ユーザーメモリサマリー」と呼ばれるセクションがあり、そのユーザーがこれまでChatGPTに何を尋ねてきたか、居住地域といった個人的な文脈が表示される場合がある。
このプロジェクトに関わる人物は404 Mediaに対して次のように述べた。
「ChatGPTのユーザーが、どこかのコントラクターが自分の会話を分析していると想像するとは思えない」
コントラクターの評価プロセス
コントラクターの作業は3段階で構成される。
- 実際のユーザープロンプトを読む
- ユーザーの意図を短くまとめる（例：「ユーザーはSlackメッセージを協調的なトーンに修正したがっている」）
- ChatGPTが生成した4つの回答を評価・採点する
採点は1（使用不可）から7（改善の余地なし）のスケールで行われる。回答が有用な内容を含んでいても、長すぎる・散漫であれば低評価になる。
評価基準として興味深いのは、絵文字の扱いだ。「不必要な絵文字の使用」は「misaligned（不一致）」として減点対象になる。一方で文脈による例外もあり、「アーバーデイ（植樹祭）の話題での🌳は適切だが、死亡事故のニュース更新に✈️は不適切」と指示書には明記されている。
また、ChatGPTが「料理人として私は…」「その気持ちはよくわかります」のように人間の経験を擬似的に語ることを避けるよう訓練している点も明らかになった。過度な共感や「sycophancy（おべっか）」を排除することが重点課題の一つだ。これはOpenAIのGPT-4oモデルが過剰に迎合的な応答を示した問題とも関連しており、ユーザーの自殺をめぐる訴訟（Austin Gordon氏の件）でも背景として言及されている。
プライバシーへの対応は「不完全」
OpenAIはコントラクターにプロンプトが渡る前に、「Privacy Filterモデル」を通じて個人情報を検出・除去していると説明している。しかし同社の公式ページには次のように記載されている。
「すべてのモデルと同様に、Privacy Filterはミスを犯す可能性がある。まれな識別子や曖昧なプライベートな参照を見逃したり、文脈が限られている場合に過剰または過少な伏字処理を行うことがある」
404 Mediaが「ユーザーに人間がプロンプトを読む可能性を明示的に告知しているか」を問い合わせたところ、OpenAIは回答しなかった。現在のプライバシーポリシーには「個人データをモデル改善に使用する場合がある」と記載されているが、人間がレビューすることへの明示的な言及はない。
なお、「improve the model for everyone」設定はデフォルトでオン（Free、Plus、Proプラン）であり、オフにしたい場合はユーザーが自ら設定変更する必要がある。Enterprise、Business、Eduプランはデフォルトでオフだ。404 Mediaが取材した後、OpenAIはオプトアウト手順を詳細化する形でヘルプページを更新したが、人間がレビューする事実への言及は依然としてない。
報酬と雇用構造
この仕事に関わる北米在住の作業者は、時給50ドル以上で雇用されていると404 Mediaに語った。採用経路は、AIトレーニング系の人材を仲介するCrossing Hurdlesというリクルート会社で、同社はさらにAIトレーニング企業のMercorを通じてコントラクターへ支払いを行う。なお、MercorはMetaが大規模なデータ漏洩事案を受けて2025年4月に取引を停止した企業でもある。
作業の実情について、その関係者は「時々面白いこともある」としながらも、「全体的には単調な作業」であり、「ガイドラインが頻繁に変わり、自己矛盾しているように感じることもある」と述べた。
OpenAIだけでなくAnthropicも
同様の手法はOpenAIに限らない。Anthropicも人間によるレビューをモデル改善に活用していることを404 Mediaに対して認めた。対象はプライバシー設定で「Help improve our AI models」をオンにしているユーザーで、Anthropicもレビュー前にメールアドレスなどのアカウント識別子を除去するとしている。OpenAIとAnthropicはいずれも「匿名化」と「オプトアウト設定」を前提にした構造を採用しているが、ユーザーへの能動的な告知を行っているかどうかという点では、両社とも明確な回答を示していない。
Center for Democracy & Technologyのシニアリサーチフェロー、Michal Luriaは次のように指摘している。
「チャットボットとの会話の人間によるレビューは安全性の観点から不可欠な場合がある。しかし、現在のチャットボットのインターフェースは自動的に一対一のプライベートなやり取りという誤った親密感を生み出している。人間のレビュアーが読んでいる可能性があるという現実とは大きく乖離している」
詳細はInside 'Project Lily': The Humans Reading Your ChatGPT Chatsを参照していただきたい。
