8月29日、Doug Turnbullが「Three mistakes of new AI teams」と題した記事を公開した。RAG・検索コンサルタントとして数十のAIチームの現場を見てきた筆者が指摘するのは、2010年代に検索チームが苦しんだ失敗と、現在のAIチームの失敗が驚くほど似ているという点だ。組織論から評価手法、Retrievalの設計思想まで、10年越しの教訓が鋭く整理されている。
なぜ「また同じ失敗」が繰り返されるのか
Turnbullが最初に問うのは、構造的な問いだ。エンジニアリングとデータサイエンスがサイロ化したまま「作ること」に先走るAIチームは、かつての検索チームと同じ轍を踏む。3つのミスに共通するのは、「解決」を急ぐあまり「理解」をサボるという構造だ。まずこの組織的な前提を押さえてから、各論を見ていきたい。
ミス3（組織論）：エンジニアリングとデータサイエンスをサイロ化する
3つ目のミスは、ある意味で残り2つの根本原因でもある。AIチームが成果を出すには、マルチディシプリナリー（学際的）な人材構成が鍵になる。スケーラブルなシステムを構築しながら、仮説思考でEvalの弱点を突ける人間が必要だということだ。
よくある失敗パターンは、データサイエンスチームがモデルを「壁越しに投げて」、3ヶ月後に「間違ったモデルだった」と気づいてゼロからやり直す構造だ。エンジニアリングとデータサイエンスが分離していると、この無駄が構造的に発生しやすい。組織の壁を取り除かないまま評価や検索の改善を試みても、成果は出づらい。
ミス1：Evalを軽視する
最もコアな指摘がこれだ。「自分たちは何が『良い』かを知っている」という思い込みで突き進むチームが多い。
Turnbullによれば、優れた検索・AI組織はリソースの約50%を「問題の理解」に投じている。「解決」ではなく「理解」に、だ。その中心にあるのがEval（評価）だ。ここでのEvalとは、AIや検索システムの出力が実際にユーザーの意図に沿っているかどうかを、定量・定性の両面から測定するプロセスを指す。
プロダクト改善の機会を見つけたいなら、PMの意見を盲信するな、Evalしろ。どこでエージェントが落ちるかわからないなら、Evalが必要だ。ユーザー行動でモデルを訓練したいなら、Evalがそのままトレーニングデータになる
彼自身、12年前にQuepid（検索品質の評価・チューニングを支援するオープンソースツール）を開発した理由として「会話システムや検索には客観的な正解/不正解がない」ことを挙げている。
実際の失敗例として、Advanced Auto Partsの社内検索プロジェクトを紹介している。従業員が製品を検索したとき「その商品が出てくればいい」と思い込んでいたが、実際に彼らが知りたかったのは「何を売ればインセンティブが得られるか」だった。直感を信じず、顧客と一緒に「何が起きるべきか」を発見するプロセスが不可欠だ。
Evalの方法論については、同僚のHamel HussainとShreya ShankarがMavenでのコースを提供しており、エンドツーエンドのプロダクト成功指標の測定から弱点の特定まで体系的に学べる。
ミス2：Retrievalを「チェックボックス」と見なす
「検索品質がAI品質を決定する」――これは研究でも繰り返し示されている事実だ。2026年のEACL論文でも、LLMに適切なコンテキストを与えると回答品質が劇的に向上することが示されている。
なお、ここでいうRetrieval（検索・検索フェーズ）とは、RAG（Retrieval-Augmented Generation）における「LLMが回答を生成する前に、関連文書や情報をデータベース等から取得するステップ」を指す。RAGはこのRetrievalと生成（Generation）を組み合わせることで、LLMの知識を外部情報で補強するアーキテクチャだ。
問題は、多くのチームが「RAGとはこういうものだ」という単一のアーキテクチャを想定してしまうことだ。チャンクの切り方、検索技術の選定、ランキング、多様性の確保――こうした判断に膨大な時間を費やすことになる。実際、論文内でも複数の検索アプローチを試した結果は手法によって大きく異なっている。
Turnbullが提唱するのは、RAGに対する発想の転換だ。
RAGはパッセージを埋め込んでクエリと照合するだけのものではない。RAGとは「エージェントに有用な情報を提示すること」だ。
例として、ブログ記事の一節を渡すとき、生のテキストだけを渡すより、以下のような構造化されたメタデータを付与した方がLLMの判断精度が上がると説明する。
## Title: My search relevance work at Shopify
## Popularity
Medium
## Publication Date
07-20-2020
"While I worked at Shopify, I implemented a search relevance solution..."
これにより、LLMは「この情報は最新か？」「信頼できるか？」「さらに調査が必要か？」を判断できる。
また検索を「キーワード検索か埋め込みか」という二項対立で捉えがちだが、「クエリ理解とメタデータ」を第三の柱として重視すべきだと主張する。「チャンクをどこで切るか」ではなく、「情報の単位とその出所をLLMにどう表現するか」を考えるべきだという視点は実践的だ。
3つのミスに共通するのは、「作ること」に先行して「理解すること」をサボるという構造だ。Evalで問題を正確に把握し、Retrievalの設計をLLMの判断支援として捉え直し、組織をサイロから解放する。検索の世界で10年以上かけて学ばれてきた教訓が、AIチームに再び問われている。
詳細はThree mistakes of new AI teamsを参照していただきたい。
