8月8日、The Decoderが「Readers rate AI-generated short stories higher than human ones until they learn a machine wrote them」と題した記事を公開した。AI生成の短編小説は、著者を伏せた状態では人間作を数値上で上回る——しかし「AIが書いた」と知った瞬間、評価は逆転する。この結果が示すのは、作品の質そのものへの評価ではなく、「誰が書いたか」という情報が知覚を上書きしてしまう認知バイアスの強さだ。

正体を知らなければ、AIの文章は人間を上回る

ペンシルバニア大学の研究者Sydney SearsとDeena Skolnick Weisbergが学術誌Judgment and Decision Makingに発表した研究では、AIが生成した短編小説は、著者が誰かを伏せた状態では人間が書いたものより高く評価されるという結果が示された。

第一実験では1,682名の参加者が約1,000語の短編小説を1本読んだ。ストーリーは6種類用意されており、3本は著名な文学誌や短編集から取った人間の作品、残り3本はChatGPT 4.0が人間作品のテーマ・文体・視点を元にしたプロンプトで生成したものだ。

参加者の半数には「人間が書いた」と伝え、残り半数には「ChatGPTが書いた」と伝えた。ただし、各グループの半数にはその情報が正確であり、残り半数には虚偽の情報が伝えられた——つまり「人間作と聞かされたがAI作」「AI作と聞かされたが人間作」という組み合わせも含まれる。

参加者は人間またはAIが書いた物語を読み、真実または虚偽の著者情報を伝えられた。| 画像：Sears and Weisberg (2026)

結果は明確だった。質の評価では、マイナス3からプラス3のスケールでAI作品の平均スコアが1.54、人間作品が0.97。没入感でもAIが1.42、人間が1.00と、AI作品が数値上は上回った。

AI作品（左）は人間作品（右）より知覚品質で高評価。「人間が書いた」と伝えられた場合（オレンジ）、両グループともAI帰属（青）より高評価だった。| 画像：Sears and Weisberg (2026)

著者帰属が評価を動かす

ここで重要なのは、実際に誰が書いたかよりも、「誰が書いた」と伝えられたかの方が評価に影響したという点だ。人間が書いたと告げられた参加者は、実際の著者に関わらず高いスコアをつける傾向があった。

この現象は、認知心理学・社会心理学で「著者帰属効果（source attribution bias）」と呼ばれるバイアスに近い。情報の内容そのものではなく、その情報源（誰が発信したか）が受け手の評価・信頼・好意度を大きく左右するという効果だ。さらに哲学的には、エッセンシャリズム（essentialism）——「作品の本質的な価値は作り手の属性に宿る」という直感的信念——との関連も指摘できる。「人間が魂を込めて書いた」ものと「機械が確率的に生成した」ものは、見た目が同じでも「別物」と感じるという認知傾向だ。今回の研究はこうした直感が評価行動に直結することを、実験的に裏付けた形となっている。

さらに、AIに対する事前の態度も影響した。AI好意的な参加者は全体的に高い評価を与え、「ChatGPTが書いた」と知るとスコアがさらに上昇した。一方、AI懐疑的な参加者ではこの効果が逆転した。なお、AIが生成した詩に関する過去の研究でも同様のバイアスが確認されている。

直接比較させても「見分けられない」

続く2つの実験（合計905名）では難易度を上げ、参加者に人間作とAI作の両方を読ませ、どちらがどちらかを判別させた。直接比較できる状態でも、正答率はランダムと変わらなかった。

興味深いのは、AIシステムの使用経験が多い参加者ほど正確に判別できた点だ。一方で、フィクションの読書経験は判別能力と相関しなかった。文学に精通していても、見分けることはできないということだ。

なぜAIの文章は「読みやすい」のか

研究者らはこの評価差の背景を、AIテキストの文体的特徴に求めている。AI生成テキストは概して滑らかで読みやすく、感情的にポジティブな傾向がある。これが高評価につながっている可能性があるが、それは文学的な質の高さを意味しない。

高品質な文学作品はしばしば意図的に難解であり、読者に能動的な解釈を要求する。「質が高いがさほど面白くない」「質は低いが引き込まれる」という組み合わせがあり得ると研究者は指摘する。また、1,000語の短編という形式自体がAIに有利に働いている面もある。数百ページにわたる長編とは根本的に異なる課題だからだ。

研究で使用したデータと素材はすべてOpen Science Frameworkで公開されている。

専門家でも限界がある

関連する先行研究としてStony Brook大学とColumbia Law Schoolが昨年10月に発表した研究がある。この研究では、特定作家のスタイルで追加学習（ファインチューニング）したAIモデルの文章を、文学の専門的な知識を持つ読者が評価した。単純なプロンプトのみで生成した文章では専門的な読者が人間作品を明確に好んだが、スタイル適応済みモデルが生成した文章については、専門家がAI作品をスタイル模倣の観点でより好んだケースが8倍、文章品質の観点では2倍に上ったとされる。ただしこの数値は研究設定や評価軸によるものであり、今回のペンシルバニア大学の実験とは被験者構成・評価方法が異なる点には留意が必要だ。両研究を合わせて読むと、「素朴な一般読者」と「文学の専門家」の双方において、現代のAI生成テキストが知覚的な品質評価で人間作に迫りつつある傾向が見えてくる。

今回の研究が示すのは、「AIはクリエイティブな作品を生成できないはず」という人々の思い込みと、実際の評価行動の間にある乖離だ。作品の良し悪しを判断しているつもりが、実際には著者の属性に引きずられている——この構造は、AI生成コンテンツが日常に溶け込んでいく時代において、受け手側のリテラシーとして意識しておく価値があるだろう。

詳細はReaders rate AI-generated short stories higher than human ones until they learn a machine wrote themを参照していただきたい。