9月22日、Joseph Coxが「People Training OpenAI's AI Fired for Using AI to Train the AI」と題した記事を公開した。OpenAIのAIモデル訓練を請け負う業者が、AIを使って作業を行い解雇されていた実態を、内部文書と複数の関係者証言をもとに報じた内容だ。
AIを人間らしく振る舞わせるための作業を、AIにやらせていた——この構図の皮肉は強烈だ。OpenAIは人間のレビュアーを大量に雇い、AIが生成した応答の品質を人間の目で評価させている。AIがAI生成テキストをさらに学習することで品質が劣化していく「モデル崩壊(model collapse)」(参考: Shumailov et al., 2024)を防ぐためだ。ところが、その人間レビュアーがAIを使って作業していたとなれば、対策が逆効果になりかねない。
1万人超の請負業者が担う「人間の判断」
OpenAIは、実際のChatGPTユーザーのプロンプトや会話データを読んでモデルの応答品質を改善する、大勢の請負業者を抱えている。先週404 Mediaが報じた「Project Lily」では、数百人の請負業者が実際のChatGPT会話を読んでいることが明らかになっている。今回の報道はその続報にあたる。
404 Mediaは複数の内部文書を入手し、OpenAI関連プロジェクトに携わる3人の請負業者に取材した。これらのプロジェクトには1万人以上の請負業者が関わっているという。
内部文書が示す「AI使用禁止」の徹底ぶり
入手した内部文書には、作業者へのルールとして次のような記載がある。
「AIの検出ツールを使用しないこと。また自分自身もAIを使用しないこと。GPTZeroやその他のAI検出ツールは使用禁止。それらは信頼性が低い。GrammarlyやAI翻訳も含め、レビュー・フィードバック・コメントの作成にAIを使ってはならない。」
さらに、他の請負業者の作業をチェックする監視役に向けた注意書きもある。
「なぜAI使用を疑っているかを評価対象者に伝えるな。何を見ているかがわかれば隠しやすくなる。一つの手がかりではなく、全体的なパターンで判断せよ。」
AI使用の摘発基準として挙げられているのは、繰り返されるワード、AIらしい句読点の使い方(em dashの多用など)、作業の異常な早さといった特徴だ。
「捕まった人間は山ほどいる」
取材に応じた請負業者の一人は、現場の実態をこう語っている。
「AIを使っている人は常にいるし、常に解雇されている。それがほぼ唯一、即クビになる理由だ。数千人規模のグループの中で、捕まった人間は山ほどいる。」
作業者同士が助け合うSlackチャンネルでは、サンプルを貼り付けて「これAIっぽい?」と質問する投稿が頻繁に行われており、「たいていの場合、答えはYesだ」という。
実際に解雇された請負業者の一人は、終了通知を404 Mediaと共有した。その文書には、作業の「真正性(authenticity)」に問題があったと記されていた。本人はこう話している。
「悪い人間でも悪い労働者でもない。ちょっとした手助けが欲しくてAIに頼った。それが自分の終わりにつながった。この仕事に喜びも、社会への貢献感も感じられなかった。」
「意図的にAIを悪化させていた」という告白
404 Mediaが取材した4人目の請負業者は、さらに踏み込んだ話をした。複数のAI企業のモデル訓練に携わってきたこの人物は、意図的に最悪の応答を選んでモデルの訓練を妨害していたと告白している。
「最初はこの仕事に罪悪感を覚えていた。今は結果に全く注意を払わずランダムに選ぶか、意図的に最悪の出力を選んでいる。実際にどれだけ影響するかはわからないが、AIを悪化させるためにお金をもらっている気分だ。」
この証言は、AI使用による「意図せぬ品質低下」にとどまらず、訓練データへの意図的な悪影響というさらに深刻な問題を示唆している。
OpenAIとMercorの対応
OpenAIは今回の件についてのコメントを拒否した。請負業者を供給する企業の一つである**Mercor**(AIを活用した採用・タレントマッチングプラットフォーム)は声明を出し、「専門家はその知見と判断力のために採用されており、LLMの使用は契約で厳しく禁じている。AIによる不正を検知するためのツールとシステムに多額の投資をしており、違反が確認された場合は即座にプロジェクトから外している」としている。
AIの訓練品質は「人間の判断」の真正性に依存している。しかし1万人超の請負業者が関わる大規模な作業体制の中で、その真正性をどう担保するかは、業界全体の未解決問題だ。
詳細はPeople Training OpenAI's AI Fired for Using AI to Train the AIを参照していただきたい。