8月4日、Inside AI newsが「MIT Study: Medical AI Help Varies by User Expertise, Novices at Risk」と題した記事を公開した。この記事では、医療AIの診断支援効果がユーザーの専門知識レベルによって逆転し、非専門家ほどAIの誤りに引きずられやすいというMITらの研究について詳しく紹介されている。
「説明付きAI」が非専門家の誤答への自信を高める
AIの説明可能性（XAI: Explainable AI）は「ブラックボックス問題」を解消し、意思決定の質を高めると期待されてきた。しかし今回の研究は、その前提を正面から否定する結果を示した。
MITとスタンフォード大学、コロンビア大学らの共同研究チームが医学誌『Nature Medicine』に発表した論文（元記事が引用。論文URL: https://www.nature.com/articles/s41591-026-01987-5 ※独自検証未実施）によると、非専門家はAIの説明を盲信し、誤った回答に対しても自信を深めるという逆効果が確認された。一方、臨床医は誤ったAI説明に惑わされず、むしろ「予測結果のみ（説明なし）」の条件で最も高い精度を示した。
実験では皮膚疾患の画像診断を題材に、非専門家と一般開業医（プライマリケア医）の2グループが参加。以下の4種類のAI説明手法が検証された：
- 予測結果＋信頼度スコアのみ
- 類似症例画像の提示
- 診断根拠となる画像領域を示すヒートマップ
- LLM（大規模言語モデル）による自然言語での説明
非専門家の診断精度はすべての手法で向上したが、その理由は「AIの出力をそのまま受け入れた」ためだ。とりわけLLM説明の条件では、誤った回答に対してユーザーの自信が最も高まるという結果が出た。流暢で説得力のある文章が、誤った診断への確信を強化するわけだ。
コロンビア大学のOrson Xu氏はこの構造を端的に説明する：
「臨床医はすでに自分の診断を持った状態でAIを照合するため、おかしな説明はすぐ気づく。一方、非専門家はその説明から意見を形成するため、もっともらしい説明が誤答へと引き寄せる。同じツールが、一方には資産、他方には負債になる」
「AIを先に見せる」とさらに悪化する
研究チームはタイミングの影響も調べた。AIの説明を、ユーザーが自分の診断を立てる前に提示すると、さらに依存度が高まるという結果が得られた。また、AIへの依存度が高いユーザーほど、AIなしの条件での成績が低い傾向も確認された。
AIが人間を上回るのは「微妙な症例（わかりにくい病変）」であり、逆に「非典型的な症状や画像に無関係な特徴が含まれる場合」は人間の方が優れていた。
「まずユーザーに診断させる」という設計上の対策
研究チームが提案する現実的な対策は、AIの提案を見せる前にユーザー自身の診断仮説を入力させるというインタフェース設計だ。強制的に自分の判断を先に形成させることで、オートメーション・バイアス（自動化された判断に過度に依存してしまう認知の偏り）を抑制できると論じている。
MITのMarzyeh Ghassemi准教授はこう述べる：
「優れたAIシステムが一部のヘルスケア設定でパフォーマンスを向上させることはできる。だが、それはアルゴリズムへの丸投げと慎重にバランスを取る必要がある。AIと説明可能性手法の両方がオートメーション・バイアスを引き起こしうることはわかっている。このアンカリング効果は、AIシステムを設計する際に必ず考慮しなければならない」
ここでGhassemi准教授が言及するアンカリング効果とは、最初に提示された情報（この場合はAIの出力）が、その後の判断に過剰な影響を与える認知バイアスを指す。XAIの文脈では、流暢な説明文がアンカーとして機能し、誤った結論への「固定」を強める点が問題となる。
スタンフォード大学のRoxana Daneshjou准教授も「医療知識が最も少ない人が、誤ったXAI出力に最も引きずられやすい」と指摘する。医療AIを必要とする層が、最もリスクにさらされるという皮肉な構造だ。
なお、肌の色による診断格差を軽減するための公平性制約モデル（fairness-constrained model）を使った条件では、診断精度と肌色による格差は改善されたが、AIへの過度な依存という構造自体は変わらなかった。
エンジニアへの示唆
医療に限らず、AIの説明可能性をシステムに組み込む際、「誰が使うか」によって設計を変える必要性を本研究は示している。LLMによる流暢な説明は、専門知識のないユーザーにとっては誤りを強化するリスクがある。
具体的なUX設計の観点では、以下のような対策が研究チームの知見から導かれる：
- AIの出力提示タイミングを遅らせる：ユーザーに先に自身の判断を入力させてからAIの説明を表示することで、オートメーション・バイアスを構造的に抑制する
- 説明の詳細度をユーザー属性で切り替える：専門家には詳細なXAI出力を、非専門家には予測結果と信頼度スコアのみを提示するといった段階的開示を検討する
- 誤答時の自信スコアを監視する：UIがユーザーの自己評価（自信度）を収集できる設計であれば、AIの説明によって自信が過剰に高まっていないかをログで追跡できる
AIの説明を「いつ・どう見せるか」というUX設計が、精度指標と同じくらい重要になるということだ。オートメーション・バイアスやアンカリング効果に関連する研究は人間とAIの相互作用（HAI）の領域でも蓄積が進んでおり、医療以外のドメインにも応用できる知見として注目される。
詳細はMIT Study: Medical AI Help Varies by User Expertise, Novices at Riskを参照していただきたい。
