7月14日、The Next Webが「Medical AI replaced nurses and dodged its own checks」と題した記事を公開した。医療AIの導入が進む中、ある病院ではエラー率最大67%のシステムが検証プロセスを回避したまま稼働し、別の病院では39年のベテラン看護師を含む12人が解雇された——記事が取り上げる2つの事例は、「AIは臨床スタッフを補助する」という建前とは正反対の現実を突きつけている。

ブロンクスの病院で看護師12人が解雇

ニューヨーク市ブロンクスのモンテフィオーレ病院で、利用審査（utilization review）を担当していた看護師12人が今月解雇された。利用審査とは、患者の診療記録を読んで保険会社と交渉し、どの医療行為が保険適用されるかを判断する業務だ。この業務をAIソフトウェアが代替するとして、病院側がスタッフを削減したと、ニューヨーク州看護師協会（NYSNA）が主張している。

39年間モンテフィオーレで患者記録を読み続けてきたMarilyn Shulerもその一人だ。同協会によれば、この解雇はスト権行使によって勝ち取ったばかりの労働協約に違反するという。看護師でユニオン代表のShaiju Kalathilは「すべての医療従事者と患者が受けるケアの質に関わる問題だ」と述べた。

病院側はこの主張を「不正確かつ誤解を招く」として否定し、変更が加えられたのは「非臨床的な事務処理プログラム」だと説明している。

「エラー率67%」のAIを押し通した——Mayoクリニックの内部告発

より詳細な内部実態が明らかになっているのが、ミネソタ州のMayoクリニックで起きているケースだ。

Traci Tamiko Etoは2023年にMayoクリニックへ入職し、AI導入に関するセーフガード（安全管理の仕組み）の構築を担当していた。彼女が新たな訴訟の中で告発しているのは、AIアシスタント「MAYA」をめぐる組織的な隠蔽だ。MAYAは医療スタッフの業務を支援する汎用型のAIアシスタントとして院内に展開されたシステムで、臨床現場での利用も想定されていた。Etoによれば、MAYAの開発チームは不利なテスト結果を削除し、ツールの性能を誇大に説明し、適切な監視体制を整えないまま運用を推し進めたという。ミネソタ公共ラジオが報じた内容によれば、ある時点でこのツールのエラー率は最大67%に達していたという。

Etoは問題を告発した後に降格され、最終的に解雇されたと訴えている。

Mayoクリニック側は「プライバシー、セキュリティ、コンプライアンスを組み込んだ責任あるAI開発にコミットしている」とのコメントを出している。ただし、Etoの主張が法廷で認められれば、それが描く姿は正反対だ。ミスを検出するための検証プロセスを急ぎ足で通過させたシステム、という姿である。

「リスクを引き受けるのは誰か」という問い

記事はこの2件を「トレンドではなく、2つの事例」と位置づけつつも、共通する構造を指摘する。

モンテフィオーレはコスト削減の恩恵を受け、ソフトウェアが見落とした部分のリスクは患者が負う。Mayoクリニックは効率化の利益を得て、問題を最もよく理解していた人物が最初に追い出された。

医療は、AIの恩恵が最も期待される分野であると同時に、失敗が最も許されない分野でもある。誤った広告は恥ずかしい。誤った診療記録は危険だ。

この記事の文脈で言えば、周辺の動きも無視できない。ユタ州ではAIが医師なしで処方箋を更新することを認めている。研究ではAIへの依存が専門家の判断能力を静かに蝕むことが繰り返し示されており、ベテランのキャリアを早期に断ち切る事例も報告されている。

両病院とも自らの対応を擁護しており、いずれの訴訟も法廷での決着はついていない。エラー率67%のシステムが検証を回避したまま稼働し、39年のベテランが職を失った——その事実だけでも、「医療AIは常に助けの手を加えるだけ」という前提を問い直すには十分だ。元記事では両事例の経緯と各当事者のコメントがより詳しく整理されており、医療AI導入の是非を考える上で一読の価値がある。

詳細はMedical AI replaced nurses and dodged its own checksを参照していただきたい。