7月19日、The Decoderが「AI text detectors struggle when language models mimic an author's style」と題した記事を公開した。学術論文分野では検出ツールが最大29%のAI文章を見逃し、最悪のケースでは48%が素通りするという実証研究の結果だ。「AIが書いた文章を検出できる」という前提そのものが、文体模倣という手法の前で大きく揺らいでいる。

「シンプルなAI文章」はほぼ完璧に検出できる

Epoch AIの研究チームは、現在広く使われているAIテキスト検出ツール3種——Pangram（v3.3.2）、GPTZero（model 2026-05-11-base）、Originality.ai（Turbo 3.0.2）——を対象に実証テストを行った。

テストには、99名の著者による495件の人間の文章（ブログ、フィクション、学術論文に均等配分）を使用。すべてChatGPTリリース前の2022年11月以前に書かれたものであり、LLMによる汚染が排除されている点は方法論として重要だ。

まず「普通のプロンプトで生成したAI文章」を検出する条件では、3ツールとも偽陰性率は最大0.7%とほぼ完璧な精度を示した。人間の文章を誤ってAI判定する偽陽性率も、PangramとGPTZeroはゼロ。ただしOriginality.aiは495件中19件を誤検知し、3.8%という無視できない偽陽性率を記録した。

文体模倣で検出率が急落、学術論文は最大29%が素通り

問題は、AIが特定の著者のスタイルを意図的に模倣したケースだ。

テストでは、複数のLLMに著者の実際の文章5本を参照させ、同じスタイルで新たな文章を生成させた。元記事では使用モデルが具体的に記載されているが、バージョン名の正確な表記については元記事原文を参照されたい。生成された文章のうち、平均して一定数が検出をすり抜けた（**偽陰性率約13%**）。

ツール別の偽陰性率は以下のとおりだ：

出典: Epoch AI

ジャンル別に見ると格差が顕著だ。フィクションでの偽陰性率は全ツールで1〜5%にとどまった一方、学術論文では各ツールが24〜29%を見逃した。

最悪のケースでは、Pangramが特定モデルの生成した学術文章の48%を見逃し、Originality.aiは別モデルが生成した学術文章の39%を検出できなかった。学術論文はAI検出ツールが最も実用的に求められる場面であるにもかかわらず、最も検出が難しいジャンルとなっている。

検出手法が違っても弱点は同じ

3ツールはそれぞれ異なるアプローチを採っている。

• Pangram：人間とAIの文章で学習したニューラルネットワーク。ただし創業者自身が「判定根拠は追跡不可能なブラックボックス」と認めている
• GPTZero：単語選択の予測可能性とその文章内での変動幅を測定。LLMが人間より均一な文体で書くという仮定に基づく
• Originality.ai：学習データから得た統計パターンを参照

手法は異なるが、3ツールは同じ弱点を持つ。単純なプロンプトで生成した文章はほぼ確実に捕捉できるが、スタイル模倣に対しては大幅に精度が落ちる。

なお、以前にAuthors Guildが実施したテストでは、PangramとOriginality.aiが人間の文章を人間と正しく分類できることが示されていた。今回のEpoch AIの研究はその逆側、つまり「AI文章をどれだけ取りこぼすか」を埋めるデータとなっている。「人間の文章を誤検知しない」という指標だけでは、検出ツールの実力は測れない。

なお、元記事では研究データの公開リポジトリへの言及がある。正確なURLは元記事本文を確認されたい。

詳細はAI text detectors struggle when language models mimic an author's styleを参照していただきたい。