8月4日、Nahleh Zangenehら研究チームが「Divergent impacts of explainable AI for dermatological diagnosis on clinicians versus lay people」と題した論文をNature Medicineに公開した。皮膚科診断AIにおける説明可能性（XAI）が、専門医と一般人とで真逆の効果をもたらすことを示した大規模実験研究であり、医療AI実装の前提を根底から問い直す内容となっている。
AIの説明が「有害」になる場合がある
医療AIの社会実装が進む中、「AIの判断に説明を加えれば人間の意思決定は改善される」という前提が広く共有されている。診断根拠の可視化やLLMによる自然言語説明を組み込めば、医師も患者も「正しくAIを活用できる」という楽観論だ。しかし実際に数百人規模で検証すると、その前提は崩れる。ユーザーの専門性によってXAIの効果は真逆に反転し、場合によっては説明を加えることが診断精度を下げる。
実験の核心的な発見は一言でまとめられる。LLM（大規模言語モデル）による自然言語説明は、一般人にとってはAIへの盲目的な追従を増幅させる一方、プライマリケア医（PCP）にとってはむしろ有害に働く、というものだ。
実験設計：2種類の被験者、4種類のXAI
研究チームは2つの大規模実験を設計した。
- Study 1：一般人623名が「メラノーマ vs 母斑（ほくろ）」の2択分類を実施
- Study 2：プライマリケア医（PCP）153名と医学生320名が、アトピー性皮膚炎・バラ色粃糠疹・ライム病・皮膚T細胞リンパ腫（CTCL）の鑑別診断を実施
各被験者には以下の4種類のAI説明方式のいずれかがランダムに割り当てられた。
- Basic：AI予測と信頼スコアのみ
- GradCAM：画像上のヒートマップ（どの皮膚領域に着目したかを色の濃淡で可視化する手法）
- CBIR（Content-Based Image Retrieval、画像内容に基づく類似検索）：類似症例画像の提示
- LLM：自然言語による説明文
また「Human-First（先に自分で判断してからAI参照）」と「AI-First（AIを見てから判断）」の2条件も設定された。
使用されたAIモデルはCDANN（Conditional Domain-Adversarial Neural Network、条件付きドメイン敵対的ニューラルネットワーク）で訓練されている。CDANNとは、肌色などの属性ごとにドメインシフトを敵対的に補正することで、属性間の予測格差を抑制しながら精度を維持する手法だ。この公平性制約により、Study 1のAUROCは0.930を記録しつつ、肌色間の精度差を76.9%削減している。
一般人：LLMが正解時は最も効果的、誤り時は最も有害
Study 1の結果、AI支援によって一般人の平均正解率は69.7%から75.8%へ向上した。XAI手法別の改善幅は以下の通り。
| XAI手法 | 精度改善幅 |
|---|---|
| LLM | +7.7% |
| CBIR | +6.3% |
| GradCAM | +5.5% |
| Basic | +4.8% |
数字だけ見ればLLMが最も優秀に映る。しかし問題はAIが誤っているケースだ。
- AIが正しい場合：LLM説明で**+13.4%**の改善（BasicはBest +8.6%）
- AIが誤っている場合：LLM説明で**−21.1%**の悪化（BasicはWorst −14.6%）
LLMが誤ったAI予測に「もっともらしい説明」を付加することで、一般人は誤りに引きずられやすくなる。研究チームはこれを「LLMは両刃の剣」と表現している。AI説明の品質が低い場合でも、LLMの文章が流暢であるほど一般人の信頼度は上がる傾向が確認された。これはいわゆるautomation bias（自動化された判断に人間が過度に依存する認知バイアス）が、説明の説得力によって強化されることを示している。
プライマリケア医：LLMが「かえって邪魔」になる
Study 2では、AI支援前のPCPの正解率はtop-1精度で11.5%、top-3精度で16.1%という低水準だった。これは4疾患（アトピー性皮膚炎・バラ色粃糠疹・ライム病・CTCL）の鑑別という設計上の難度によるものであり、皮膚科専門医でない一般内科医にとってこのレベルの鑑別は本来の診療範囲を超えている。AI導入後はそれぞれ+21.5%（top-1）、+43.5%（top-3） と大幅に改善した。
ここで一般人との決定的な違いが現れる。PCPにとって最も有効だったのは「Basic（予測+信頼スコアのみ）」であり、LLMは有意な改善をもたらさなかった。
研究チームの分析によると、PCPはAIが誤っているケースでも誤りに引きずられにくく、誤ったAI予測に対してLLM説明があると、むしろ自身の臨床知識との照合に余計な認知負荷がかかる可能性が示唆されている。
なぜ逆転するのか
この「XAIの効果の逆転」は直感に反するが、仮説は明快だ。
- 一般人は皮膚疾患の専門知識を持たないため、LLMが生成する「もっともらしい医学的説明」を批判的に評価できない。結果としてAIへの追従（automation bias）が強化される。
- PCPは既存の臨床知識を持っており、AIの予測より自身の判断を優先できる。LLMの説明はそのプロセスに情報を加えるより、ノイズになりやすい。
この構図は、XAIの設計が「誰のための説明か」を問わずに行われると、意図と逆の結果を招くことを示している。医療AIにおける公平性と説明可能性のトレードオフは近年活発に議論されており、本研究はその実証的な根拠を大規模に積み上げた点で重要な貢献といえる。
公平性の改善も確認
副次的な知見として、AI支援によって肌色間の診断格差も縮小した。一般人実験では、明るい肌色と暗い肌色の患者間の精度差が46.9%削減された。この効果は主としてCDANNによる公平性制約訓練に起因しており、XAI手法の違いによる差は統計的に有意ではなかった。医療AIにおける肌色バイアスの問題は長年指摘されてきており、本研究のアプローチはその緩和策として有効性を示した形だ。
医療AI実装への示唆
この研究が示すのは、「XAIを追加すれば人間+AIの協調診断が改善する」という単純な図式が成立しないという点だ。誰が使うか（専門家 vs 一般人）によって、最適なAI説明方式は異なる。
一般公衆向けの医療AIアプリにLLM説明を組み込む際は、AIが誤った場合のリスクを過小評価すべきでない。逆に、専門医向けシステムではシンプルな予測+信頼スコアが、複雑な説明より実用的である可能性がある。XAIの設計は「説明を付ければ良い」という発想から脱し、ユーザー属性と使用文脈に合わせた最適化が求められる段階に入っている。
詳細はDivergent impacts of explainable AI for dermatological diagnosis on clinicians versus lay peopleを参照していただきたい。
