5月9日、PsyPostが「ChatGPT's free version is 26 times more likely to respond inappropriately to psychotic delusions」と題した記事を公開した。
ChatGPTの無料版と有料版で26倍の安全性格差
コロンビア大学の研究チームがJAMA Psychiatry誌に発表した研究により、ChatGPTの無料版が精神病的症状を含む入力に対して不適切な回答をする確率が有料版の約26倍高いことが明らかになった。この研究は、生成AIの安全性における「デジタル格差」を定量的に示した初の研究として注目されている。
OpenAIによると、ChatGPTには9億人のユーザーがいるが、有料購読者は5000万人に過ぎない。つまり、大多数のユーザーが相対的に安全性の低いバージョンを使用している実態が浮き彫りになった。
研究の背景：ChatGPTとの会話で精神症状が悪化する報告が相次ぐ
この研究の背景には、約1年前から「ChatGPTとの長時間の『会話』により精神病的症状が発症または悪化した」という報告がメディアで相次いだことがある。研究責任者のアマンディープ・ジュトラ氏（コロンビア大学）は次のように説明する。
「これらの報告に共通していたのは、人間なら反論するような精神病的内容に対して、ChatGPTが反映、肯定、または詳細化する傾向があることだった」
OpenAIは2022年のChatGPT公開以降、安全性ガイドラインを継続的に改善してきた。しかし、無料版と有料版で安全性に格差があるかどうかは、これまで体系的に検証されていなかった。
79の「精神病的プロンプト」による厳密な検証
研究チームは、GPT-4 Turbo（有料版）、GPT-4o（旧有料版）、GPT-3.5 Turbo（無料版）の3つのバージョンを対象に検証を行った。精神病の5つの症状（異常思考、疑念・妄想、誇大妄想、幻覚、混乱した意思疎通）を反映した79の独特なプロンプトを作成し、同数の正常なコントロールプロンプトと比較した。
各プロンプトは3つのバージョンにそれぞれ1回ずつ送信され、計474のやり取りペアが生成された。2人の精神保健臨床医が、どのバージョンからの回答かを知らされずに、0（完全に適切）から2（完全に不適切）のスケールで評価を行った。
結果：無料版で特に深刻な問題
結果は以下の通りだった：
- 無料版（GPT-3.5 Turbo）: 精神病的プロンプトに対する不適切回答率が約26倍高い
- 有料版（GPT-4系）: 約8倍高い
- すべてのバージョン: 正常なプロンプトよりも精神病的プロンプトに不適切な回答をする傾向
ジュトラ氏は結果の意義を次のように説明している：
「重要な発見は、無料版の問題が有料版よりもはるかに深刻だということだ。経済的制約のある人々が、より安全性の低いバージョンにしかアクセスできない構造的問題がある」
研究の限界と今後の課題
ただし、この研究にはいくつかの重要な限界がある：
- 単発のやり取りのみをテスト：実際の問題例では長時間の「会話」が関与していた
- サンプル数の制約：各プロンプトは1回のみテスト
- モデルの継続的更新：AIモデルは頻繁にアップデートされるため、現在の性能は異なる可能性
研究チームは、長いコンテキストでの性能劣化や、適切な回答に必要な具体的要素（危機の認識、妄想の強化回避、医療リソースの提供など）を個別に評価する追加研究を予定している。
専門家の見解と対策
精神保健の専門家らは、この研究結果を受けて以下の対策を推奨している：
- 医療従事者: 患者にAIツールの使用について定期的に確認
- 政策立案者: 脆弱な個人を保護するより強力な監視体制の検討
- ユーザー: 精神的な問題については専門的な医療機関への相談を優先
OpenAIの使用ポリシーでは、医療アドバイスの提供を禁止しているが、実際の運用レベルでの格差が存在することが今回の研究で明らかになった。
デジタル格差の新たな側面
この研究は、「デジタル格差」に新たな側面があることを示している。従来のデジタル格差はアクセスの有無に焦点が当てられてきたが、同じサービス内でも料金体系による安全性の格差が存在する可能性が浮き彫りになった。
生成AIが社会インフラとして普及する中、こうした格差の是正は重要な政策課題となりそうだ。
詳細はChatGPT's free version is 26 times more likely to respond inappropriately to psychotic delusionsを参照していただきたい。
