7月13日、Zara ContractorとGermán Reyesが「Experimental Evidence on the Learning Impact of Generative AI」と題した論文をarXivで公開した。生成AIへのアクセスが学生の学習効果に与える影響をランダム化実験（RCT）で検証した研究で、直感に反する結果が含まれている。「AIを使うと考えなくなる」という通説を崩すデータが示された一方、「使い方次第で効果はまったく異なる」という、より精緻な実態も明らかになった。なお本論文はarXivで公開されたプレプリントであり、現時点では査読を経ていない点に注意が必要だ。
「AIを使うと学力が下がる」は本当か
生成AIが教育現場に浸透する中、「AIに頼ると自分で考えなくなる」「本当の学習が妨げられる」という懸念は根強い。しかしその実証データは乏しく、多くの議論が直感や逸話に基づいてきた。AIと教育をめぐる先行研究にも観察データや短期的な介入研究が多く、因果関係の特定には限界があった。本研究はその問いに対して、ランダム化実験（RCT）という経済学・社会科学で最も信頼性の高い手法で正面から答えた。
実験の設計
実験は監督付きの対面セッションで実施された。大学生を対象に、なじみのないトピックについて学習させ、分析エッセイを執筆させるという課題を与えた。参加者は「生成AIあり」と「生成AIなし」の2グループにランダムに割り当てられた。
評価は2段階で行われた。
- 即時評価：セッション直後に実施（知識テスト＋エッセイ）
- 遅延評価：1週間後にAIなしの状態で再度実施
「知識テスト」では事実理解と概念理解を、「エッセイ」では高次スキル（分析・論述）を測定した。AIを使えるのは学習・執筆フェーズだけで、評価は全員AIなしで受ける設計になっている点が重要だ。この設計により、「AIがあるからその場でうまくやれた」のではなく、「AIを通じて本当に学んだかどうか」を直接問うことができる。
主な結果：AIは学習を「下げない」、むしろ伸ばす
知識テストのスコア
AI利用グループの即時テストスコアは0.27標準偏差上昇した（論文本文の主要結果より）。そしてこの効果は1週間後も持続した。単なる「その場しのぎ」ではなく、記憶への定着が起きていることを示す。
エッセイの品質
AI利用中のエッセイ品質はほとんど変化しなかった。ところが1週間後、AIなしで書いたエッセイのスタイルと内容の関連性が向上していた。AIを使って書いた直後より、使わずに書いた後の方が文章が良くなっているという、直感に反する結果だ。この「遅延後の品質向上」は、単純な代替効果では説明できず、学習プロセス自体への影響を示唆している。
鍵を握る「使い方」の違い：拡張型 vs 自動化型
研究で特に注目すべき発見は、AI利用者を使い方で2種類に分類した点だ。
- 拡張型（Augmentation users）：AIを概念の説明や理解の補助に使う
- 自動化型（Automation users）：AIにテキスト生成を任せる
1週間後の遅延評価で、拡張型の学生はエッセイ品質の向上が大きかった。一方、自動化型の学生は短期的な品質改善が見られたものの、AIを取り除いた途端にその効果が消えた。
つまり「AIに書かせた」だけの学生は何も身についておらず、「AIで理解を深めた」学生は確実に学んでいた、ということになる。この分類は今後の教育設計において重要な示唆を持つ。「AI利用を許可する」だけでは不十分で、どのような使い方を促すかが学習成果を左右する。
なぜ学習効果が上がったのか：2つのメカニズム
研究者は学習効果の背景として2つのメカニズムを挙げている。
- 時間配分の変化：AIを使うことでテキスト執筆にかかる時間が減り、その分を読書や情報検索に充てるようになった
- 学習の楽しさの向上：AI利用グループは学習をより楽しいと報告した
前者は特に興味深い。AIが「書く」作業を肩代わりすることで、学生が「理解する」作業に集中できた可能性を示唆している。後者についても、学習意欲や継続性への波及効果を考えると、短期的なスコア変化だけでは測れない教育的意義がある。この2つのメカニズムは相互に独立しておらず、「楽しさの向上」が「読書・探索への時間投資」をさらに促進した可能性も考えられる。
この研究の教育政策的含意
教育現場でのAI利用を「禁止か許可か」という二項対立で語る議論は多い。しかしこの研究は、問うべきは「使うかどうか」ではなく「どう使うか」であることを実験データで示した。
とりわけ政策的に重要なのは、「自動化型」の使い方が短期的には成果物の品質を高めながら、学習定着にはつながらないという点だ。成果物の出来栄えだけで評価する従来の試験・課題設計では、AIによる「見かけ上の学習」を見抜けない可能性がある。遅延評価やAIなしでの再現テストを組み合わせた評価設計が、今後の教育機関に求められるかもしれない。
監督付き対面環境・ランダム割り当て・遅延評価という設計の厳密さは、従来の観察研究では得られなかった因果関係の特定を可能にしている。ただし、本研究はプレプリント段階であり、対象・文脈・課題の種類によって結果が変わりうる点は引き続き検証が必要だ。
詳細はExperimental Evidence on the Learning Impact of Generative AIを参照していただきたい。
