9月12日、Ars Technicaが「ChatGPT-using lawyer punished for citing fake testimony from made-up witnesses」と題した記事を公開した。ChatGPTが生成した架空の証人・証言を準備書面に引用した弁護士が裁判所から制裁を受けたという事例だが、注目すべきは弁護士の弁明の内容だ。「法律・医療分野でAIが広く使われているから正確なはず」という思い込みは、判事たちにまったく通じなかった。

「AIが出力したから正確だと思った」── 弁護士の言い訳が通じなかった

ニューメキシコ州最高裁判所は、弁護士のAarons氏が提出した準備書面に架空の証人の証言が複数引用されていたとして、同弁護士に対し制裁を下した。

Aarons氏は殺人事件の弁護を担当しており、裁判のコンピューター生成書き起こしや関連書類をChatGPTに入力し、その出力をそのまま準備書面に使用した。しかしChatGPTが生成したのは実際には証人として呼ばれなかった複数の人物の証言、名前を誤った実在の証人の証言、そして不正確な判例の説明だった。

使用したのはOpenAIのo3モデル（2025年前半にリリース）搭載版のChatGPTだという。o3は高い推論能力を持つモデルとして注目を集めたが、ハルシネーション（事実と異なる内容を自信を持って生成する現象）はo3においても発生し得る。特に、入力文書を「忠実に要約する」という用途では過信が禁物だ。Aarons氏は8月21日の審問でこう述べた。

「私の愚かさが今日ここに皆さんを集めることになったとわかっていても、慰めにはなりません」

さらに彼は、「法律・医療分野でAIが広く使われているから正確なはずだ」と思い込み、出力内容をまったく検証しなかったと認めた。

裁判所が下した制裁の内容

最高裁が下した制裁は以下の通りだ：

• ニューメキシコ州最高裁への出廷禁止（懲戒委員会の調査・手続きが完了するまで）
• 5,000ドルの罰金（ニューメキシコ州弁護士会クライアント保護基金に支払い）
• それまでに提出された全準備書面の記録からの抹消
• 被告への新たな弁護士の選任を公設弁護人事務所に命令
• 本件は2026〜27年の審理期に継続

なお、懲戒委員会による手続きの結果次第では、追加の処分が科される可能性もある。

判事たちの反応：「AIが誤情報を生成することを知らなかったのか」

審問では判事たちがAarons氏を厳しく批判した。判事の一人は「AIが誤情報を生成し得ることはすでに広く知られている。それを知らなかったとは言えないはずだ」と指摘したという。判事たちが強調したのは、情報源がAIであれ法学生であれ同僚の弁護士であれ、書面に署名した弁護士はその内容の正確性に責任を負うという原則だ。

「どこから情報を得たかに関わらず、弁護士は内容を検証しなければならない」というこの立場は、AIを使った書面作成が増える中で、各地の裁判所が繰り返し示してきた姿勢でもある。

繰り返されるAI幻覚による法廷トラブル

この種の事例は今回が初めてではない。Ars Technicaは以前から、AIが生成した架空の判例を準備書面に引用した弁護士たちの事例を継続的に報じてきた。多くの場合、弁護士たちは「AIを信頼しすぎた」「確認を怠った」という弁解を繰り返している。いずれのケースでも裁判所の判断は一貫しており、AIを使ったことへの同情は示されていない。

今回のAarons氏のケースが他の事例と異なるのは、架空の判例ではなく架空の証人・証言を引用した点だ。実際の裁判記録をAIに読み込ませた上で出力を信じ込んだという経緯は、「文書を与えれば正確な要約が得られる」という思い込みの危うさを示している。

LLM（大規模言語モデル）のハルシネーションは、入力に実在の文書が含まれていても発生する。モデルは文書の内容を「記憶」するのではなく、それらしい文字列を確率的に生成するため、入力に忠実な要約が保証されるわけではない。o3のような高性能モデルであっても例外ではなく、むしろ流暢で自信ありげな出力がかえって誤りを見逃させるリスクがある点は、法律実務に限らず注意が必要だ。

詳細はChatGPT-using lawyer punished for citing fake testimony from made-up witnessesを参照していただきたい。