7月22日、The Decoderが「An AI system helped Pakistani judges clear massive backlogs at $38.50 return per dollar invested」と題した記事を公開した。パキスタンの裁判所にAIアシスタントを導入した大規模フィールド実験で、AIへのアクセスを与えただけでは効果はほぼなく、専門トレーニングを組み合わせた群との間に4倍の利用格差が生じた。適切なトレーニングと組み合わせた場合に限り、投資1ドルあたり38.50ドルのリターンが確認されている。

パキスタン全土の裁判官1,559人を対象にしたRCT

ETHチューリッヒ、ニュー・エコノミック・スクール、インペリアル・カレッジ・ロンドンの研究チームが、パキスタン司法と共同でランダム化比較試験（RCT）を実施した。対象は118の裁判所に属する1,559人の裁判官で、パキスタンの一審裁判所裁判官の約半数に相当する。

RCTは公共政策分野での活用がもともと希少な手法だ。倫理的・運用的制約から無作為割り当てが困難なケースが多く、「AIが生産性を向上させた」という主張の多くが相関ベースの観察研究にとどまる中、今回のように数千人規模の裁判官を無作為に群分けした実証研究は際立った価値を持つ。

パキスタンの司法が抱える積み残し案件の規模もこの実験の背景として重要だ。パキスタンでは長年にわたり未処理の民事・刑事案件が数百万件規模で滞留しており、一審裁判所レベルでの処理能力不足が慢性的な問題とされてきた。この文脈があるからこそ、処理件数の増加というアウトカムが政策的意義を持つ。

使用したツールは「JudgeGPT」。OpenAIのGPT-4をベースに構築されたAIアシスタントで、RAG（検索拡張生成）を用いて128,292件の判例と943本のパキスタン法令を含む計129,235件の文書データベースを検索する。裁判官がクエリを入力すると、最も関連性の高い10件のパッセージを抽出し、引用付きの回答を生成する仕組みだ。

AIアクセスだけでは効果なし——トレーニングが4倍の差を生んだ

実験では裁判官を3グループに分けた。

• グループA：JudgeGPTへのアクセス＋専門トレーニング（ETHのElliott Ash教授による90分×6回、3週間、閉廷後に実施）
• グループB：JudgeGPTへのアクセス＋テクノロジーと法律に関する一般セミナーのみ
• コントロール群：一般セミナーのみ、JudgeGPTへのアクセスなし

トレーニングの中身は「どのタスクにAIが向いているか」「どこで誤りが出やすいか」「出力の確認方法」に絞られていた。

結果は明確だった。専門トレーニングを受けた裁判官は、一般セミナーのみのグループと比べてJudgeGPTを4倍多く使用した。40週後の時点で、トレーニング群は平均約60回のログイン・200回以上のプロンプト入力を記録したのに対し、比較群は約20回のログイン・50回未満のプロンプト入力にとどまった。

単にツールを配布しただけでは利用が定着しないという結果は、企業・行政問わずAI導入が進む現在において示唆が大きい。研究チームが設計した専門トレーニングは、AIの能力と限界を具体的なユースケースと結びつけて伝える内容であり、その設計の巧拙が導入効果を左右した形だ。

1地区あたり年間1,848件の追加処理——ROIは38.50ドル

生産性への影響は定量的に測定されている。専門トレーニングを受けた裁判官が多い地区ほど処理件数が増加し、中程度の導入密度で年間1地区あたり1,848件の追加処理、処理率にして6.3%の改善が確認された。導入密度が低い下位25%の地区でも約616件の増加が見られた。

コスト対効果の試算では、同等の処理増加を追加採用で賄った場合と比較して、1ドルの投資あたり38.50ドルのリターンという数値が出た。保守的な見積もりでも「少なくとも10ドル」としている。

注目すべきは判決の質が落ちていない点だ。1,000件あたりの控訴率はわずかに低下し、勤務時間やワークライフバランスに変化はなかった。約4,000件の判決文を対象にした分析では、AIが生成したと推定されるテキストの増加は確認されたが、可読性・文章量・法的論点の数は変わらなかった。2名のパキスタン人弁護士が検証したLLMベースの品質評価では、トレーニング群の判決がペアワイズ比較の59%で高評価を得た（コントロール群は42%）。性別・宗教的偏見の増加も確認されなかった。

「何をAIに任せるか」を訓練で変えた

約1,500人分の匿名チャットログの分析から、利用パターンの違いが浮かび上がった。元記事に掲載されているグラフによれば、最も多いタスクは「法的調査（オープンな質問）」で、次いでテキスト編集・生成と続く。そして専門トレーニングによって利用が編集・要約へとシフトし、ハルシネーションリスクの高い広範な法的質問への依存が減少したことが示されている。

クエリ全体の約60%は、法律・手続き・法的概念に関する情報収集だった。専門トレーニングを受けた裁判官は、言語モデルが比較的得意とする「編集」「要約」にAIを使い、ハルシネーションが発生しやすい「広範な法的判断の委任」は避ける傾向があった。

AIに判断の評価や論拠の起草を任せる「実質的なAI委任」に相当するクエリは全体の約2割にとどまった。トレーニングは裁判官自身が決定を下し、AIはその文章化のみを補助するという役割分担を促進した。

「GPT-4」で出たROI——今なら天井はさらに高い

研究チームは、今回の知見が「裁判官をAIに置き換える根拠にはならない」と明示している。実証されたのは「適切なトレーニングと組み合わせた場合に限り、AIは公共部門の生産性を向上させられる」という点だ。

また、今回使用したJudgeGPTはGPT-4（推論モデル登場以前）をベースにしており、研究チームは「今回の生産性向上は上限ではなく下限である可能性が高い」と指摘している。現行の推論モデルは文章品質・ハルシネーション抑制・複雑タスク処理のいずれも向上しているためだ。

本研究の論文はSSRNおよびarXivで公開されており、元記事からリンクが張られている。公共政策分野でのAI実証研究として参照価値が高く、政府・司法・行政機関でのAI導入を検討するステークホルダーには一読を勧める。パキスタン司法が抱える積み残し案件の深刻さと、この実験の規模・結果は、AIの実世界インパクトを定量化した事例として公共政策分野での議論に直接接続される数字だ。

詳細はAn AI system helped Pakistani judges clear massive backlogs at $38.50 return per dollar investedを参照していただきたい。