9月28日、David Linthicumが「AI productivity metrics are fooling enterprises」と題した記事を公開した。企業がAIの生産性を測る指標が実態を正しく捉えておらず、経営判断を誤らせかねないという問題について、著者自身の経験と具体的な事例をもとに論じたopinion記事だ。
「ダッシュボードは緑だったが、意思決定は改善していなかった」
著者のDavid Linthicum（元Deloitte Consulting マネージングディレクター兼チーフクラウドストラテジーオフィサー、エンタープライズ技術分野で30年以上の経験を持つ）は、ある大手金融サービス企業でのケースを冒頭に挙げる。
その企業は生成AIツールをナレッジワーカー全体に展開した。初期の数字は良好だった。メールの下書きが速くなり、アナリストは数時間かかっていたサマリーを数分で作成し、開発者はより多くのコードを生成し、カスタマーサービスチームはシフトあたりのチケット処理数を増やした。ダッシュボードはすべて緑だった。
そこで著者が問いを投げかけた。「より良い意思決定ができていますか？」
室内が静まり返った。
ドキュメントの品質はばらつき、チケット処理数は増えてもエスカレーション（escalation：担当者が対応しきれず上位者や別部門に引き継ぐこと）は増加し、生成コードの量は増えてもシニアエンジニアによるレビュー（review：成果物の品質確認・修正作業）コストが膨らんだ。アナリストが作成したサマリーは、ビジネスリーダーが信頼しきれず、結局は元データを確認し直すという状況だった。
アウトプットの量は増えたが、アウトカム（成果）は改善していなかった。
活動量と価値を混同する「生産性の罠」
Linthicumはこの問題を「productivity trap（生産性の罠）」と名付ける。AI生産性指標の多くは速度と量を測る。処理時間の短縮、生成ドキュメント数、解決チケット数、生成コード行数——これらは測りやすいが、危険なほど不完全だ。
典型的な失敗例として、保険金請求処理者がAIによって1日あたり40%多くのケースを処理できるようになったケースを挙げる。一見、生産性向上に見えるが、エラー率が上昇し、異議申し立てが増え、顧客満足度が下がり、マネージャーが二重レビュー体制を導入する羽目になった場合、企業は生産性を得たのではなく、コストをシステムの別の部分に移しただけだ。
著者はこの構造を「cloud cost metrics のときと同じ過ち」と指摘する。当時は「サーバー削減台数」を測り、アーキテクチャの複雑化を無視した。今はAIの使用量を測り、意思決定の質を無視している。
If a metric doesn't connect to quality, risk, revenue, cost, or customer outcomes, it is not a business metric. It is telemetry.
— David Linthicum
（指標が品質・リスク・収益・コスト・顧客アウトカムのいずれにも結びついていないなら、それはビジネス指標ではない。テレメトリだ。）
見落とされる「隠れたレビューループ」
AIが特に問題を起こすのは、作業を「隠れたレビューループ」にシフトさせる点だ。AIツールを使う担当者は時間を節約できても、下流の専門家がバリデーション・修正・説明により多くの時間を費やす。生産性向上はある部門に記録され、コストは別の部門に現れる。
元記事が引用するFordの事例によれば、同社はAIや自動品質システムが経験豊富な人間の判断なしに成果を出せる範囲を過大評価していたことを認め、元社員やサプライヤー出身者を含む300人以上の経験豊富なエンジニアを追加採用して品質プロセスを強化した。「AIに価値がなかった」ではなく、「自動化だけでは技術を機能させるのに必要な専門知識を代替できなかった」という教訓だ。
CIOが本当に測るべき指標
Linthicumが提示する代替フレームワークは明快だ。「AIがワーカーを速くしたか」ではなく、「その速さがエンドツーエンドのビジネスアウトカムを許容できないリスクなしに改善したか」を問うべきだとする。
具体的には以下の軸での計測を推奨している：
- エンドツーエンドのアウトカム： プロセス全体が改善したか。1タスクが速くなっただけではないか
- 品質とリワーク： 速いアウトプットが下流のレビュー・修正・例外処理を増やしていないか
- リスク： セキュリティ・コンプライアンス・法的・運用上の新たなリスクを生んでいないか
- 顧客へのインパクト： 顧客満足度・解決率・コンバージョン等が改善したか
- 価値の捕捉： 節約した時間がコスト削減・収益向上・意思決定速度の改善・サービス向上に変換されたか
最も過大評価されている3つの指標
ベンダーが売り込みに使いがちな指標として、著者は3つを名指しする。
- 採用率（Adoption）： ツールが使われていることは示すが、ビジネスが改善されているかは示さない
- プロンプト数（Prompt volume）： キーストローク数を数えるようなもので、価値とはほぼ無関係
- 汎用的な時間節約（Generic time savings）： 自己申告に基づくことが多く、財務アウトカムと切り離されている
時間の節約は、企業がそれを捕捉した場合にのみ価値がある。多くの企業はそうしない。より速く、より多くの仕事を生み出すだけだ。
こうした「シンプルな生産性ストーリー」を売ることは、ベンダー側にとって強いインセンティブになっている。ボードルームで「AIの真の価値はワークフローの再設計・インセンティブ構造の変更・数四半期にわたるアウトカム品質の測定に依存する」と説明したい者はいない。しかしLinthicumの主張はまさにその点であり、上述した指標の罠はベンダーの語り口がそのまま社内KPIに転用されることで生じやすいと言える。採用率やプロンプト数をそのまま経営指標に据えることは、ベンダーの都合に沿った評価軸を自社の意思決定に持ち込むことと同義だ。
詳細はAI productivity metrics are fooling enterprisesを参照していただきたい。
