10月14日、データ・AI基盤プラットフォームを提供するDatabricksが、Amber Roberts（Staff Technical Marketing Manager at Databricks）の発言をまとめた記事「Everyone's adopting AI agents. Almost no one can prove the ROI. Here's why」を公開した。AIエージェントの導入が急拡大する一方で、ROI（投資対効果）をほぼ誰も証明できていない現実がある。その根本的な理由はシンプルだ——「速さ」で測るという発想自体が間違っているのだと、Robertsは指摘する。では何を、どう測るべきなのか。背景と対処法を詳しく見ていく。
「ROIが出ていない」は構造的な問題だ
企業がAIを買っている人間と、実際に使う人間が別であることが根本的な問題だ、とRobertsは指摘する。ここでいうAIエージェントとは、人間の指示を受けてタスクを自律的に実行するAIシステムの総称で、近年はLLM（大規模言語モデル）を中核とした業務自動化ツールとして急速に普及している。
「AIを購入する人は、テクノロジーの最前線にいることが仕事の条件になっている。競合が導入すれば、自分も動く。実装するかどうかは別の話だ」
こうして「とりあえず導入」した後、6ヶ月〜数年かけて「本当にROIがあったか」を問われる段階に、今まさに多くの企業が差し掛かっている。現状は試行錯誤の連続だが、「6ヶ月遅れるよりはマシ」という判断が先行している。
「速さ」で測るのが間違いである理由
AIの生産性議論は「同じタスクを速くこなせるか」という文脈で語られがちだ。しかしRobertsはこれを単純化しすぎだと批判する。
- エンジニアの生産性とマーケターの生産性は同じ指標で測れない
- 「速さ」にも「開発速度」と「推論レイテンシ（AIが回答を返すまでの応答時間）」という異なる概念がある
- 同じチーム内でも、専門知識のある人とゼロから学んでいる人ではAIの使い方も期待値も異なる
より本質的な転換として彼女が指摘するのは、「一人が何をできるか」から「チームのアシスタントを持った一人が何をできるか」へという生産性の定義の変化だ。
重要な留保もある。「40%効率化した」という数字は、品質が維持されていて初めて意味を持つ。コンテンツ分野で観察される通り、量を増やすと品質が下がる傾向があり、ツールがその劣化に追いつかないことも多い。AIの評価指標設計については、MLOpsやLLMOpsといった運用フレームワークの文脈でも活発に議論されているテーマだ。
AIが本当に役立つ条件：「業務コンテキスト」の有無
デモで印象的に見えるAIエージェントが、実務では使い物にならないケースが多い。Robertsはその理由を「業務コンテキスト（business context）の欠如」と断言する。ここでいう業務コンテキストとは、その組織・業務固有の情報——社内ルール、顧客データ、過去の意思決定経緯など——の総体を指す。
たとえば「自宅に増築したい」と汎用AIに聞けば、一般的な増築の方法は返ってくる。しかし郵便番号も、地域の建築基準法も、市の条例も知らない。それは「会社のためにAIを使いたい」状況と全く同じだ。業務固有の情報がなければ、どれだけ汎用的に賢くても役に立たない。
ベテラン社員の代替が難しい理由もここにある。長年蓄積された組織固有の知識を失うコストは、新しい人材をトレーニングするコストを大きく上回る。AIエージェントも同様で、業務コンテキストを与えることが価値の前提条件になる。
具体例：137人のスピーカー確認を2つのエージェントで処理
Robertsは実際に試みたユースケースを紹介している。カンファレンス前にスピーカー137名の参加確認を行うタスクだ。
通常であれば個別にメールを送り、フォームの回答を手動で集計する。代わりに：
- 1つ目のエージェント：全スピーカーにメッセージを送り、返答を記録し、未確認者にフラグを立てる
- 2つ目のエージェント：未返答者を自動でフォローアップ
確認が終わった時点で、産休・育休中の2名を除く全員の確認が完了していた。繰り返し発生する、かつ横断的なこの種のタスクが、エージェントと最も相性が良いとRobertsは言う。
スケールより先に「動くこと」を確認せよ
最もよくある失敗パターンは、「うまくいった事例が出た→すぐスケールしよう」という判断だとRobertsは述べる。
- 1つのユースケースを動かすだけでも、多くの試行錯誤が必要だった事実が見落とされる
- 「データがある→構築しよう」と品質チェックなしに進むのと同じ構造
- スタートアップのデモはシンプルに見えても、それを支えるインフラがなければスケールする対象物が存在しない
「スケール」はバズワードになっている。問うべきは「何を、どの規模で、どの指標で」だ。
5年後の知識労働者に必要なもの
Robertsは5年後の予測を「自信を持って言えない」と正直に語る。2年前に書いた自分の文章をほとんど認識できないほど状況が変わったと振り返る。
その上で一点だけ確信を持って言えることとして、批判的思考の重要性がこれまで以上に高まると述べる。AIが生成した、文脈のない、古い、あるいは競合情報を含む可能性のあるアウトプットを、全員が常に評価し続ける必要がある。「磨きすぎた」文書は信頼されなくなる時代に入っており、「反論できる専門家が関与しているか」こそが信頼性の判断基準になっていく。
AIエージェントの評価・活用に関する議論は国内外で急速に深まっており、Databricksのような企業がROI計測の難しさを正面から論じ始めたことは、業界全体のフェーズ変化を示していると言えるだろう。
詳細はEveryone's adopting AI agents. Almost no one can prove the ROI. Here's whyを参照していただきたい。
