8月19日、Inside AIが「Harvard Study Shows AI Undermines Leaders' Judgment in Innovation Evaluation」と題した記事を公開した。この記事では、AIを活用した評価プロセスが経験豊富な評価者の判断力を損なうというハーバード大学の実験結果について詳しく紹介されている。
AIを使った評価者ほど、専門家との判断パターンが変化する
「AIを使えば意思決定の質が上がる」という前提が、実験で崩れた。
ハーバード大学の研究者らが行ったフィールド実験では、288名の経験豊富な評価者に対し、MITのグローバル社会的インパクト・イノベーション・チャレンジに提出された48件の応募作品を評価させた。評価条件は3種類に分けられた。
- 人間のみによる評価
- LLMの評価結果＋説明文を参照した評価
- LLMの評価結果のみ（説明なし）を参照した評価
これらの評価結果を、同イノベーション・チャレンジに関与する4名の専門家の判断と照合した。
最も注目すべき結果は、「AIが人間よりも悪い判断をした」ではない。「AIの説明文を見た評価者ほど、専門家パネルとの判断パターンが変化した」という点だ。元記事は、この変化をリーダーの判断力を損なう（undermines）ものとして明確に位置づけている。AIが生成した説明文が、評価者自身の判断を気づかぬうちに書き換えていた可能性を示す結果だ。
さらに、「説明なし」と「説明あり」の2条件を比較したことで、AIのスコアそのものより、その説明文のフォーマットが判断に与える影響の大きさが浮かび上がった。
なお、本研究は評価者288名・応募作品48件・専門家4名という限定されたコンテキストで実施されており、サンプル規模や単一のイノベーション・チャレンジという設定上、知見の一般化には慎重を要する。異なる評価文脈での再現性については、今後の検証が求められる。
「自動化バイアス」はイノベーション評価にも及ぶ
この現象は、**自動化バイアス（automation bias）**として知られる。航空や医療の分野では以前から記録されており、「自動化システムを過度に信頼することで、人間が自分自身の専門知識を上書きしてしまう」という問題だ。ハーバードの研究は、このバイアスが戦略的なイノベーション評価にも波及することを示した。
MITのようなイノベーション・チャレンジは、どの社会的ベンチャーが資金と支援を受けるかを左右する場だ。その評価プロセスにLLMが介在するとき、組織は意図せず隠れたバイアスを導入している可能性がある。
AI研究コミュニティにおけるこれまでの知見とも整合する。アルゴリズムによる意思決定支援に関する研究では、「人間とAIのチームが常に人間単独を上回るわけではない」という結果が繰り返し示されている。重要な変数はAIの精度ではなく、人間がそのアドバイスをどう統合するかだ。
研究が示す実践的な対策
研究はAIの放棄を勧めているわけではない。構造的な監視の仕組みを整えることが重要だという方向性を示している。
- LLMの出力を見る前に、評価者自身の見解を文書化させる——独立した判断を保護するための手順として有効とされる
- AIがテキストを生成する仕組み（自信ありげだが誤った推論を生みやすい傾向）をリーダーが理解することで、AI出力への批判的な検討が可能になる
- LLMの出力は「デフォルトの推奨」ではなく「多くの入力情報のひとつ」として扱う
イノベーション評価に限らず、アイデアの選定、採用審査、製品評価にLLMを活用している組織にとって、この研究が示す問いは共通している。ツールが判断を加速させているのか、それとも判断力を代替させてしまっているのか。
詳細はHarvard Study Shows AI Undermines Leaders' Judgment in Innovation Evaluationを参照していただきたい。
