9月2日、Paul Nashawaty（ECI Research）が「AI A/B Testing: Why Nondeterminism Changes Everything」と題した記事を公開した。生成AIの非決定性がA/Bテストの設計前提を崩し、評価インフラの再構築を迫っているという論点を詳しく掘り下げた内容だ。

「同じ入力なら同じ出力」——その前提が崩れた

従来のA/Bテストは、同一の入力に対して同一の出力が返るという決定論的な前提に立っている。トラフィックを分割し、コンバージョンを計測し、勝者を決める。その設計がLLMによって根底から崩れる。

同じプロンプトを1,000回評価すれば、1,000通りのわずかに異なるレスポンスが返ってくる。これは単なるノイズではなく、制御された分散という実験の基本前提そのものの崩壊を意味する。クリックスルー率のようなバイナリな成功指標は、レスポンスの質についてほとんど何も教えてくれない。統計的有意差を得るために必要なサンプルサイズは膨れ上がり、従来の実験ツールをAI機能にそのまま当てはめようとしたチームは、このノイズフロアの高さを身をもって知ることになる。

非決定性を「バグ」ではなく「実験面積」として扱う

Pearlは企業のAI導入・戦略実行を支援するテクノロジーコンサルティング企業で、EVPのRob Ellisonを通じてこの問題への代替的なアプローチを提示している。

Ellisonの立場は明確だ。非決定性を回避すべき欠陥として扱うのをやめ、モデル自身の自然なバリエーションが実験の表面積を生み出すシグナル豊富な環境として扱う、というものだ。

この枠組みで重要な役割を担うのが「LLMジャッジ」というパターンだ。単純な合否判定になじまないレスポンスの品質評価に、人間のグレーダーやルールベースのスコアラーではなく、第二のモデルを使って第一のモデルの出力をルーブリック（採点基準表）に照らして評価するという手法である。ルーブリックの基準軸は用途によって異なるが、たとえば「回答の正確性」「トーンの一貫性」「タスク完遂度」「有害性の有無」といった複数の評価軸をスコアリングするかたちで設計される。AnthropicやOpenAI、複数の大規模コンシューマープラットフォームがeval設計に取り組む際にも採用されつつあるアプローチで、Pearlは自社のインテークチャットボットにこのフレームワークを適用して概念実証としている。

「誰がジャッジを審査するのか」——LLMジャッジの限界

LLMジャッジは万能ではない。記事はその限界を明確に列挙している。

• 評価モデル自身のバイアスを引き継ぐリスクがある
• 評価サイクルごとに推論コストが追加される
• 第二のモデルへの新たな依存が生まれる

規制環境下のチームにとっては追加の障壁もある。ECI ResearchのGovTech Survey（官公庁向けAI市場を対象とした調査）によれば、回答者の31.8%が「AIベンダーのFedRAMP/コンプライアンス承認の摩擦」をAI採用の最大の障壁として挙げている。評価パイプラインに第二のAIモデルを導入すれば、そのコンプライアンス問題は二重になる。

同調査では47.2%が技術選定の最重要要素として「開発者の生産性と統合のしやすさ」を挙げており、evalパイプラインを立ち上げるためのツール整備コストが、リソースの限られたエンジニアリング環境での採用障壁になることは現実的なリスクだ。

沈黙したリグレッションのビジネスリスク

製品チームを超えた話として、記事が指摘するのがサイレントリグレッション（気づかれない品質劣化）のリスクだ。

評価フレームワークなしに生成AIを顧客向けワークフローや意思決定支援システムに組み込むと、モデルのアップデートやプロンプト変更、RAGの修正が品質を改善しているのか劣化させているのかを判断できなくなる。記事が例として挙げるのがAIを使ったインテークシステムのケースだ。evalがなければ、プロンプト変更やモデル更新によって生じた誤ルーティングやトリアージ品質の低下が、誰かが気づくまでの数週間にわたって継続する可能性がある。問題が顕在化するのは、クレームや業務上の損失が積み上がった後になりがちで、その時点では原因の特定も難しい。evalパイプラインの欠如は、開発スピードの問題であるのと同時に、ビジネスリスク管理の問題でもある。

評価インフラは「次の12〜24ヶ月」で一等市民になる

現状、AI対応ソフトウェアの実験・評価レイヤーはスタック全体で最も成熟度が低い領域の一つだ。PromptfooやBraintrustといったオープンソースのevalフレームワーク、大規模プラットフォームベンダーの商用製品がこのワークフローの獲得を競っている（※これらのツール名は元記事には登場しない。編集部が参考情報として付記した）。

記事の見通しでは、今後12〜24ヶ月で評価インフラはMLOpsスタックの標準的な構成要素となり、オブザーバビリティやセキュリティと並ぶ一等市民になる。適切なバイアス制御を備えたLLMジャッジパターンを含むevalパイプラインへの早期投資は、直感ではなく根拠に基づいてAI機能を反復できる環境を生む。逆に整備が遅れた組織は、モデル更新やプロンプト変更を安全に本番リリースできる速度が落ち、そのギャップは時間とともに広がっていく。

詳細はAI A/B Testing: Why Nondeterminism Changes Everythingを参照していただきたい。