9月9日、James Shoreが「James Shore: Are You Getting Your Money's Worth from AI?」と題した記事を公開した。この記事では、AI投資のROIをどう定量的に測るか、そして何を測ってはいけないかについて詳しく論じられている。
AIに月2,100万円を使う組織が現れている
James Shoreが冒頭で紹介するのは、ある170人規模の組織を持つCIOの実例だ。そのCIOはAI導入によって生産性が2.1倍に向上したと測定している。
だがそのコストは無視できない。AIのヘビーユーザーは1人あたり月$21,000（約300万円）のトークン費用を使っている。これはあくまで上位ヘビーユーザーの数字であり、全員がこの水準に達するわけではないが、別のエンジニアリングリーダーもエンジニア1人あたり月$6,000〜$8,000を費やしていると報告しており、組織全体のコスト規模は相当なものになる。
この規模のコストは、いずれ人件費から捻出されることになる。つまり、実際の人員削減という形で現れうる。Shoreはそこを直視して問う——「本当にROIが出ているのか？」。
さらに問題なのは、現場の肌感覚が当てにならないことだ。METRの研究では、エンジニア自身がAIによって実際より49%速くなったと過大評価していたことが示されている。感覚ではなく、測定が必要だ。
コストを過小評価するな
コストの測定は影響測定より簡単に見えるが、落とし穴がある。最大の問題は補助金（サブシディ）だ。
AnthropicやOpenAIは市場シェア獲得のために大幅な割引を提供している。あるエンジニアリングリーダーによれば、チームメンバーが数千ドル分のトークンを使っているにもかかわらず、実際の請求は**$200のサブスクリプション料金**で済んでいるという。
この補助金がいつ終わるかは不明だ。一方で、オープンウェイトモデルやローカル推論、専用推論チップなどがトークン単価を下げる方向に働く可能性もある。ShoreはROI計算に際して、楽観シナリオと悲観シナリオの両方をモデル化することを推奨している。
もう一点——AI導入は「スイッチを入れる」ように即効性があるわけではない。学習曲線があり、大きな変革期には生産性がいったん下がってから上がるパターンが多い。この初期コストと初期計測値の歪みも考慮が必要だ。
長期視点を持つ：メンテナンスコストとバーンアウト
Shoreが強調するもう一つの盲点は、長期的な影響だ。
短期的に機能開発速度が2倍になっても、メンテナンスコストも2倍になれば、数ヶ月後には生産性向上の恩恵が消える。記事中のグラフは、AI導入後に生産性が急上昇したあと、わずか5ヶ月で元の水準を下回り、その後は永続的なペナルティを負うシナリオを示している。
エンジニアのバーンアウトも現実の問題だ。スペック駆動開発を採用しているあるエンジニアリングリーダーは「すべてのチームがバーンアウトを報告している」と述べている。燃え尽きた人材は問題を報告せず、反論もせず、やがて去る——そして貴重な組織知識も失われる。
何を測ってはいけないか
Shoreはここを特に明快に述べている。
コード行数（Lines of Code）は絶対に使うな。 半世紀以上前からエンジニアリングリーダーたちが知っていることだが、コード行数は生産性と相関しない。1,000行で実装された機能は10,000行のものより保守コストが低く、バグも少ない。AIは冗長なコードを大量生成することで有名で、行数を測れば生産性ではなく「スロップ（slop：雑で質の低いアウトプット）」を測ることになる。なお「slop」という概念は、技術系ブロガーのSimon Willisonらがここ数年で広く普及させた用語で、AIが生成する中身のない大量出力を指す。
プルリクエスト数も同様だ。 PRはエンジニアが任意に切り方を決められるチェックポイントであり、10行のPRも1万行のPRも1件は1件だ。AIが大量のコードを高速生成すると、エンジニアが精査しきれないまま大量のPRが生成される事態になり、この指標はさらに意味を失う。
そしてグッドハートの法則の問題がある——「測定値がターゲットになった瞬間に、それは良い測定値ではなくなる」。Robert D. Austinの著書『Measuring and Managing Performance in Organizations』を引用しながら、Shoreはこう述べる：
測定値は徐々に真のパフォーマンスとズレていく。ワーカーがショートカットを取るプレッシャーに屈するからだ。測定上の数字は上昇し、真のパフォーマンスは急落する。こうして測定システムは機能不全に陥る。
Shoreの提言は明確だ：個人やチームのパフォーマンスを測るな。AIの「アプローチ」を測れ。 どの使い方が機能しているかを把握するための一時的な測定であって、常時稼働の評価システムにしてはいけない。
連載の構成
本記事はShoreによる4部構成+エピローグの連載の第1回だ。残回は以下のスケジュールで公開予定とされているが、内容・日程は変更される可能性がある。
- 今回：なぜ測るか、何を測ってはいけないか
- 9月15日公開予定：デリバリー速度の測定方法
- 9月22日公開予定：意図しない副作用の測定と予測
- 9月29日公開予定：ビジネスアウトカムのモデリングと予測
- 9月29日公開予定：エピローグ（CFO向けノート）
詳細はJames Shore: Are You Getting Your Money's Worth from AI?を参照していただきたい。
