AIに「分からない」と言わせるための「RAG」の手法

BRANK

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGシステムがより正直に、知らないことには「分からない」と言えるようにするための手法「DTA（Divide-Then-Align）」について、ざっくり理解します。この記事は何この記事は、RAGの新手法である「DTA」の論文について、日本語で簡単にまとめたものです。 RAG」や「RAFT」などの手法では、外部・内部の知識を組み合わせて回答できるようにして、精度向上しています。ただ、これらの手法も完璧ではありません。本当は内部も外部も、全部の情報を使っても 「回答できないはず」 の質問であっても、無理やり、回答生成してしまうことがあります。これは、ハルシネーション（幻覚）に繋がります。そこで、DTAは、LLMの内部知識と外部知識の両方を考慮して、 本当に回答できない質問には「分からない」と答えられるようにします。 こうすることで、医療や金融など、かなりの信頼性が求められる場面でも、RAGを使うことができるようになります。問題意識RAFTのような内部・外部知識を融合する手法では、回答精度は高いものの、ハルシネーシ…