8月9日、Christian Cawleyが「PwC left red-faced after being caught using AI hallucinations and fake citations in multiple reports」と題した記事を公開した。この記事では、世界最大規模の会計事務所PwCが複数のレポートにAIハルシネーションや偽引用を含めていたことが発覚した問題について詳しく紹介されている。以下に、その内容を紹介する。
PwCが"AIの責任ある活用"を説くレポートで、AIの誤用を実演してしまった
AIの普及が進む中、大手企業が「AIをどう使うべきか」を語るレポートを相次いで発表している。しかしそのレポート自体がAIの問題を抱えていたとしたら、話は別だ。
PricewaterhouseCoopers(PwC)——世界四大会計事務所のひとつ——が、2024年から2026年にかけてPwC中東が公開した少なくとも4本のレポートに、AIハルシネーションや捏造された引用、偽の脚注が含まれていたとして批判を受けている。
問題を発見したのは、AIコンテンツ検出ツールとして知られる**GPTZero**の調査チームだ。Paul Esau、Om Ogale、Alex Cuiの3名による調査が、これらのレポートに「無責任なAI使用のパターン」があることを明らかにした。
「Vibe citations」とは何か
今回の報告で使われているキーワードが「vibe citations(バイブ引用)」だ。これはAIが生成した文書の中で、実在するかのように引用されているが実際には存在しない参考文献を指す造語である。
具体的な問題点としては以下が挙げられている:
- 存在しない文献の引用
- 著者名の誤り
- 出版日の誤り
- 無効なURL
- そもそも引用自体が存在しない
GPTZeroチームは、すべての不整合をハルシネーションと断定しているわけではない。一部は単なる不適切な引用形式である可能性も残るとしているが、偽であることが明確なものも含まれているとしている。
皮肉な構図:AIリスクを警告するレポートで、AIリスクを体現
問題をより深刻にしているのは、これらのレポートの目的だ。PwCが発行したのは「ソートリーダーシップ(thought leadership)」と呼ばれる、自社の専門性を示すための提言型レポートである。内容はAIの責任ある活用について組織に助言するものだった。
つまり「AIの捏造リスクに注意せよ」と訴えるレポートが、まさにその捏造リスクを体現していたことになる。
PwCはフィナンシャル・タイムズの取材に対し、次のようにコメントした:
「責任あるAIへの取り組みと一貫して、私たちは調査やコンテンツ開発において、全社員が遵守すべき品質管理プロセスを持っています。」
ただし、具体的にどのような問題が起きたのか、誰が責任を取るのかについては言及がなかった。
Big Fourすべてが同じ問題を抱えている
さらに見逃せないのは、PwCだけが例外ではないという点だ。GPTZeroチームは過去12カ月で、Deloitte、EY、KPMGを含む「Big Four」すべてで同様の問題を記録しており、これらをまとめて「vibes gallery」と呼んでいる。
KPMGについては以前にもAIハルシネーションを含む大規模レポートの問題が報じられており、大手コンサルや会計事務所全体でAI生成コンテンツの検証プロセスが機能していない実態が浮かび上がる。
エンジニアが読み取るべき教訓
AI生成コンテンツをそのまま公開するリスクは、コードのバグとは異なり、外部から発見されるまで気づかれにくいという特性がある。GPTZeroのような検出ツールの精度が上がるにつれ、品質管理なしにAI出力を流用するコストは高くなる一方だ。
PwCのケースは、AIを使ったコンテンツ生成においてレビューと検証のプロセスを省略することのリスクを、世界最大規模の組織が身をもって示した事例として記録されることになった。
詳細はPwC left red-faced after being caught using AI hallucinations and fake citations in multiple reportsを参照していただきたい。