9月21日、PYMNTS.comが「Docusign Processes 1 Million Contracts a Day on Small AI Models」と題した記事を公開した。Docusignが1日100万件超の契約処理においてAIコストを50分の1に圧縮するために小型特化モデルへ切り替えた取り組みについて詳しく紹介されている。「GPT-4クラスのモデルに契約書を丸ごと送らない」という設計判断が、スループット向上と精度維持を両立させた核心だ。
1日100万件で「フロンティアモデルは使えない」
Docusignの電子署名・契約管理プラットフォームは、1日100万件超の契約を処理している。当初はGPT-4クラスの汎用大規模モデル(フロンティアモデル)を全契約に適用していたが、その規模ではAPIコストが支配的なインフラコストになった。
Docusignの応用科学担当シニアディレクターであるRamachandra Kotaは、Microsoftのケーススタディでこう述べている。
「1日100万件のドキュメントにおいて、100ページの契約書をまるごと送るか、本当に重要な4,000トークンだけを送るかは、ビジネスとして成立するかどうかの違いだ」
Microsoftが9月15日に公開した同ケーススタディによると、Docusignは汎用大規模モデルから特定タスク向けに訓練した小型モデルへ切り替えることで、AIの処理コストを90%削減し、スループットを最大8倍向上させた。精度の低下は2ポイント以内にとどまっている。
「全文を送らない」という工夫
コスト削減の柱は2つある。
① モデルの使い分け:定型的な情報抽出(契約金額、準拠法、更新日など50以上の項目)は、Microsoft Foundry上で自社訓練した小型モデルに任せる。複雑な条項の解釈や複数契約の比較など「推論」が必要な作業にのみフロンティアモデルを使う。
② 関連箇所だけを抽出して送信:契約書をまるごとモデルに渡すのをやめ、フィルタが回答に関係する段落だけを抽出して送る。ボイラープレート(定型文)が除去されることで、一部の抽出タスクでは大型モデルに全文を送るより精度が高くなったとDocusignは報告している。
この結果、小型モデルは本番環境において旧システムの小型モデル比で精度が7ポイント上回り(Docusignブログ記事より)、その精度向上により旧モデルの誤りを補正するためのクリーンアップ工程も廃止できた。パイプライン全体でのドキュメント1件あたりのコストは旧システム全体比で50分の1になったという(同ブログ記事、6月公開)。
削減したコストでAIエージェントを支える
この安価な抽出レイヤーは、Docusignが5月に発表したAIエージェント群の基盤にもなっている。営業・HR・調達・法務の契約業務を自動化する「Irisアシスタント」「AIエージェント」「Agent Studio」は、いずれも抽出モデルが出力したデータを入力として動く。抽出コストが高止まりしていれば、エージェント層もそのコストを引き継いでしまう。
マネジメントコンサルティング会社のSEIは、このシステムを使ってマスターサービス契約から義務事項を取り出し、WorkdayとHubSpotに連携している。新規の作業指示を作成する時点で、顧客の法的条件がすでに画面に表示されている状態になるという。
業界全体の課題と重なる
この事例が示す問題は、Docusign固有ではない。PYMNTSが6月に報じたところによると、2022年以降トークン単価は約98%下落しているにもかかわらず、エンタープライズのAI費用は同期間に約320%増加している。単価の下落より利用量の拡大が上回っているためだ。
PYMNTS Intelligenceの調査では、米国の大企業の81〜95%がAIをデータ・技術機能に広く展開しているが、投資が完全に回収できたと答える企業は5〜10%にすぎない。過半数の企業が投資回収まで5〜6年かかると見ており、それでも8割以上が来年のAI予算を増やす計画だという(Enterprise AI Benchmark August報告書)。
こうした状況を背景に、契約管理AIの市場では「全文をフロンティアモデルへ送る」ブルートフォース型から、タスク分解と小型特化モデルの組み合わせへという設計思想の転換が加速しつつある。※編集部の考察:同様の課題に直面するエンタープライズ各社が、Docusignのアーキテクチャを参照事例として採用するケースは今後増えると見られる。
大規模なドキュメント処理において「どのモデルに何を任せるか」を設計することが、ROI確保の現実的な手段であることをDocusignのケースは具体的に示している。
詳細はDocusign Processes 1 Million Contracts a Day on Small AI Modelsを参照していただきたい。