社内の知見をAIが漏らさず拾う唯一の設計思想 ― Karpathy氏のLLM Wikiを実践して分かったこと

ARANK

健適文化という会社をやっています。社内ドキュメントが散らかって検索できない、AIに聞いてもまともな答えが返ってこない、そういう課題に対して、会社のナレッジベースをゼロから構築するお手伝いをしています。この記事はその過程で得た知見をまとめたものです。先に結論社内ドキュメントをベクトルDBに突っ込んでRAGを組んだのに精度が出ない、という問題の原因は「入れ方」にあります。生のドキュメントをそのまま渡すのではなく、LLMが消化できる粒度まで段階的に加工してから渡す。Anthropicがコンテキストエンジニアリングの文脈でprogressive disclosureと呼んでいる設計思想で、Karpathy氏の提唱するLLM WikiもPineconeのNexusも、突き詰めるとここに収束します。実際に自分のクラウドストレージ（約20万ファイル）で試したところ、体感レベルでは検索精度が大きく向上しました。この記事で扱うこと項目内容対象読者RAGを組んだが精度に悩んでいるエンジニア扱う手法Karpathy氏のLLM Wiki、PineconeのNexus実践環境個人のクラウドストレージ（約20万ファイル）得られた結果体感での検索精度向上、有料サービスより安価に実現なぜ「ただ突っ込むだけ」では精度が出…