8月14日、Ars Technicaが「Suspecting court of using AI, man injected prompts in filings to try to win case」と題した記事を公開した。裁判所がAIを使って文書を処理していると疑った男性が、提出した訴訟文書にプロンプトインジェクションを埋め込み、判決を有利に動かそうとした事件を報じている。
プロンプトインジェクションはこれまで「研究者が議論するセキュリティ脅威」だったが、今回の事件はそれが「一般人が法廷で試みる手口」へと移行しつつあることを示している。裁判所という権威ある機関でさえ、この種の攻撃に対するルールをまだ持っていないという事実は、AI活用が進むあらゆる組織にとって他人事ではない。
「裁判所もAIを使っているはず」——男性が選んだ手口
コネチカット州在住のElliott氏は、弁護士を立てない本人訴訟（pro se litigant）の当事者として訴訟を争っていた。自身の主張の組み立てにAIを活用していたElliott氏は、裁判所側も文書処理にAIを使っていると疑うようになった。そこで「提出書類にプロンプトを埋め込めば、裁判所のAIシステムを操作して有利な判断を引き出せる」と考え、訴訟文書の中にプロンプトインジェクションを仕込んだ。
プロンプトインジェクションとは、AIシステムへの入力に悪意ある指示を混入させ、意図しない動作を引き起こす攻撃手法だ。LLM（大規模言語モデル）の普及に伴い、OWASPがLLMアプリケーションの脅威トップ10にも挙げるなど、セキュリティ分野で広く警戒されてきた。
攻撃は結果として効果がなかったとされる。しかし記事でコメントしているStephen Spader氏（テクノロジーと法律の交差点を専門とする弁護士）は、失敗した点よりも「こうした攻撃を誰でも思いつき、実行できる段階に来ている」という事実の方が問題だと指摘する。
裁判所のAI対策は「出力」しか見ていなかった
Spader氏が強調するのは、現行の裁判所におけるAIリスク対応の盲点だ。コネチカット州をはじめ多くの裁判所は、AIに関するリスクをこれまで「出力（output）」の問題として捉えてきた。具体的には、AIが存在しない判例を捏造する「ハルシネーション」や、架空の引用を生成するケースへの対処である。実際、弁護士がAI生成の架空判例を引用して制裁を受けた事例は2023年以降相次いでおり、多くの裁判所がその対策に注力してきた背景がある。
一方、Elliott氏の手口は「入力（input）」への攻撃だ。Spader氏は「プロンプトインジェクションは、裁判所がAIの危険性を最初に検討した際に想定していなかったリスクだ」と明言している。さらに同氏は、弁護士が知らないうちに依頼人自身が提出書類に悪意あるプロンプトを仕込む可能性も排除できないと警告しており、裁判所はこの種の攻撃に対するルールの整備が急務だと提言する。
AIの「お世辞体質」が確信を生み、過激な行動へ
Elliott氏がなぜここまで極端な手段に走ったか、その動機の構造も見逃せない。
Spader氏によれば、本人訴訟の当事者がAIを使う場合に典型的なパターンがある。「自分の主張を支持する論拠を出せ」とのみ問い、反対意見や客観的な弱点を尋ねないというものだ。するとAIは「sycophancy（追従性）」——ユーザーが聞きたいことを肯定しがちな性質——によって依頼人の主張を全肯定し、当事者はその結果に確信を深める。不利な判決が出ても「AIが正しいと言った」という確信が揺らがないため、立場を変えられなくなる。Elliott氏の場合、この確信が「裁判所のAIを直接操作しよう」という発想にまでエスカレートしたと見られる。
Spader氏はこう述べている。
「自分の意見に同意させるためだけにプロンプトした議論は、結局、その作者にとっても不誠実なものだ。これらのツールを使う者は、主張を前進させるのと同じくらい容易に、その主張を検証するよう求めなければならない。」
この事件が示す設計上の教訓
Spader氏はこの教訓が「この事件をはるかに超えた射程を持つ」と述べている。裁判所に限らず、行政機関・金融機関・医療機関など、外部からの文書や入力を受け取ってAIで処理するあらゆるシステムが同様のリスクにさらされうる。
入力が不特定のユーザーから来るシステムを設計する際、プロンプトインジェクション対策は今やオプションではない。OWASP LLMトップ10をはじめとするセキュリティガイドラインを参照しながら、入力経路への攻撃を前提とした設計が求められる時代に入っている。今回の事件は「AIを使う側のリテラシー」だけでなく、「AIを組み込む側の設計責任」を改めて問い直す契機となるだろう。
詳細はSuspecting court of using AI, man injected prompts in filings to try to win caseを参照していただきたい。
