8月20日、Mistralが「Introducing Agentic Search」と題した記事を公開した。同記事では、企業の複雑なドキュメント群に対してAIが多段階の検索・ナビゲーションを行う「Agentic Search」の仕組みと性能が詳しく紹介されている。その核心にある数字が驚異的だ。スキャンされた政府財務PDFを対象としたベンチマーク「OfficeQA Pro」では、従来の一回限りのRAGが正解率6.3%だったのに対し、Agentic Searchは51.9%を記録——約8倍の改善である。財務QAベンチマーク「FinanceBench」でも正解率は最大**+52.6pp**改善しており、元の正解率水準によっては「最大3倍」を大幅に上回るケースも生じる。
従来のRAGが抱える本質的な限界
RAG(Retrieval-Augmented Generation)とは、LLM(大規模言語モデル)に外部の文書を検索・参照させてから回答を生成する手法で、企業内ドキュメントへのQ&Aシステムなどで広く使われている。しかし現在主流の「one-shot RAG」——一度の検索で関連チャンク(文書の断片)を取得し、そのままモデルに渡す方式——には根本的な制約がある。
- 検索結果が答えに直結しない場合に対処できない。最初に取得したチャンクが不完全でも、モデルは別ドキュメントや別セクションを参照しに行けない。
- 長大・複雑なドキュメント(SEC提出書類、政府記録、法的契約書など)では、答えが特定のテーブルや脚注、条項に埋まっており、チャンク検索では届かない。なおSEC提出書類とは、米国証券取引委員会(SEC)に上場企業が提出が義務付けられている財務・事業報告書類(10-K年次報告書、10-Q四半期報告書など)を指す。
- 複数文書をまたいだ比較・照合が必要な質問に対して、単一パスの検索は有効に機能しない。
記事に示されている具体例がわかりやすい。「1953年の各月の国防支出の合計値を求めよ」という質問に対して、one-shot RAGは1〜6月分のデータしか取得できず回答不能になる。一方、Agentic Searchは検索を2回行ったうえで対象PDFの特定ページをreadし、12ヶ月分の完全なデータを引き出して正確な合計値(44,463百万ドル)を算出している。
5つのツールによる「ファイル操作」的な検索ループ
Agentic SearchはMistral Search Toolkit上に構築され、モデルに以下の5つのツールを与える。
| ツール | 役割 |
|---|---|
search |
コーパス全体から関連ドキュメントを検索 |
open |
特定のドキュメントを開く |
navigate |
ページ・セクション・領域に移動 |
read |
指定箇所のコンテンツを取得 |
grep |
開いているドキュメント内でパターン検索 |
これらはファイルシステム操作に近い設計で、モデルが「検索→開く→ナビゲート→読む」という人間の調査行動を模倣できる。
重要な点は、ファインチューニング不要であることだ。モデル側の推論・ツール使用能力が向上すれば、インフラを変えずに検索品質も自動的に改善される。チャンキング戦略の上限に縛られない設計になっている。
ベンチマーク結果:最大3倍超の正確性向上
Mistralは2つのベンチマークで測定している。テストに使用したモデルはMistral Medium 3.5(小規模モデル)とZ.ai GLM-5.2(大規模モデル)の2つ。
FinanceBench(368件のSEC提出書類、150問)
SEC提出書類(10-K/10-Q/8-K)を対象とした財務QAベンチマーク。1ファイル平均147ページ、合計約53,900ページ。
- one-shot RAGからagentic検索ループへの移行だけで、正解率が**+47.3pp(MM 3.5)、+52.6pp(GLM-5.2)**改善。元の正解率水準に対して約3倍規模の精度向上に相当する(※「最大3倍」はこの改善幅を元の正解率と比較した際の概算値であり、元記事に計算式の明示はない)。
- さらにナビゲーションツール(open/navigate/read/grep)を追加すると**+8.7pp(MM 3.5)、+6.7pp(GLM-5.2)**の上積み。
- トークン消費量は逆に削減。ナビゲーションにより無駄な再検索が減り、**-23.9%(MM 3.5)、-33.7%(GLM-5.2)**。
- p90レイテンシは255秒→154秒に短縮(FinanceBenchにおけるGLM-5.2での測定値)。
OfficeQA Pro(696件の米国財務省レポート、133問)
スキャンされた政府財務PDFを対象とした数値検証ベンチマーク。約89,000ページ。OfficeQA Proは手書き・印刷混在のスキャンPDFに対してOCRを含む数値照合精度を測る、特に難易度の高いベンチマークだ。
- GLM-5.2でone-shot RAGの6.3%から51.9%へ(+45.6pp)。
- MM 3.5でも**+27.1pp**の改善。
- 同じGLM-5.2モデルをClaude Codeハーネスで動かした場合は41.4%だったのに対し、Mistralのハーネスでは51.9%(**+10.5pp**)という比較も示されており、ツールスタック側の実装品質が精度に影響することを示している。
使い分けの指針
Mistralは「すべてをAgentic Searchに移行すべき」とは主張していない。記事では用途による使い分けが明確に示されている。
Agentic Searchが適するケース:
- 長大な文書(契約書、技術仕様書、規制ファイリング)
- 複数ソースをまたいだ比較・照合が必要な質問
- 財務数値・法的条項など、根拠箇所の特定が必要な回答
- テーブルや構造化データが中心のドキュメント
one-shot RAGで十分なケース:
- 短い文書への直接的なキーワード検索
- 大量クエリを低レイテンシで捌くサーバーサイド検索
- 答えの所在が予測可能なシンプルな質問
試す方法
最速で動かすにはSearch Starter App(GitHub)を使うとよい。ローカルにインデックスを作成し、デフォルト設定でAgentic Searchを試せる。クラウドとオンプレミスの両方に対応しており、Mistral StudioおよびVibeのLibraries機能から、検索システムを自前で構築せずにそのまま利用することも可能だ。
本番向けには以下のドキュメントを参照:
詳細はIntroducing Agentic Searchを参照していただきたい。