RAGが苦手な「膨大な会話データ」を検索可能に

DRANK

導入こんにちは、株式会社ナレッジセンスの須藤英寿です。今回は、過去の対話情報をもとに、LLMと一貫した会話を続けられる仕組み「Hindsight」について紹介します。 客観的な事実、例えば「Aさんの家は東京にあります。」など立場によっても変わらない情報を保存します。Experience: LLMの行動の記録、例えば「昼ご飯のオススメに〇〇屋をおすすめした」などのLLMが思考し出力した内容を保存します。Opinion: LLMの主張、例えば「データの分析にはPythonを使用するのがよい」などのLLMの主観的な判断や価値観を保存します。Observation: 複合的な情報から生み出された特定の対象の情報、例えば「ユーザーの生年月日」や「兄弟の通っていた学校」など、任意の対象に関するプロフィールを保存します。このように情報を分類しておくことで、検索時にユーザーの入力した内容にあわせて、ノイズを削減した検索を実現できるようになっています。評価まず、ベースラインとなるFull-contextのパターンと比較すると、OSS-20Bで、Full-contextの場合に39.0%でHindsightでは、83.6%と44.6%分精度が改善しています。Gemini-3を使用したSupermemoryと比較しても、Supermemoryでは85.2%で…