7月17日、SiliconAngleが「EY re-envisions RAG around multimodal knowledge graphs to improve accuracy」と題した記事を公開した。この記事では、EY（アーンスト・アンド・ヤング）がRAGをマルチモーダル知識グラフで再設計し、テキスト以外の図表・画像情報も含めた精度向上アプローチについて詳しく紹介されている。
テキスト専用RAGの限界
RAG（Retrieval-Augmented Generation）は、LLMを企業の内部情報に接地させる標準的な手法として広く使われている。ただし、既存の実装の多くはテキスト取得に最適化されており、チャート・表・工業図面・数式・画像といった非テキスト形式のデータを事実上無視している。
EYのAIエンジニアリングリーダーであるDipanjan Sengupta氏はこの問題を次のように語る。
「RAGはテキストコンテンツに対してはうまく機能する。しかし多くの産業では、情報の相当部分がイラストや図として存在している」
たとえば、製造業であれば重要な仕様が工業図面に記載されており、ライフサイエンス企業ではグラフへの依存度が高い。こうした企業のドキュメントをテキストだけで検索しても、重要な事実を取りこぼす。
なお、ここでいう「知識グラフを用いたRAG」はMicrosoftが公開しているGraphRAGと概念的に近いが、EYのアプローチはマルチモーダルなコンテンツ（テキスト＋図）を統合した独自フレームワークとして設計されている点が異なる。EYは世界150か国以上でAIコンサルティングを展開しており、今回の取り組みはその実務経験をもとにしたものだ。
マルチモーダル×知識グラフという設計
EYが開発したマルチモーダルRAGフレームワークの特徴は、LLM自体には手を加えず、コンテンツの準備・インデックス化・関係付け・供給の段階を丸ごと再設計する点にある。
テキストと図の分離インジェスト
フレームワークはまず、テキストと図（イラスト）を別々のパイプラインに分けて取り込む。
- テキスト：セグメント化のうえ、キーワード抽出と固有表現解決（異なる表記で同一実体を指すレコードを統合するプロセス）で拡充する
- 図・画像：既存キャプション、周辺テキスト、バウンディングボックス解析、OCR、LLMによる説明生成を組み合わせてメタデータを付与する
両者はそれぞれ独立したベクターインデックスに格納される。クエリはテキスト・画像・両方のいずれかを対象に絞り込める。
知識グラフで関係を構造化
このフレームワークの核心は、各コンテンツ要素を知識グラフのノードとして扱い、テキストと図の間に重み付きの関係を構築する点だ。
関係構築には3種類の手法を使い分ける。
- 確定的キーワードマッチング（明示的なキーワードの一致）
- 埋め込みベースの意味的類似度
- MLによる推論（暗黙的な関連の発見）
さらに「gleaning（拾い上げ）」プロセスが欠損リンクを検出し、曖昧な実体を解決して、ドキュメントをまたぐ関連情報を特定する。結果として構築される異種グラフは、LLMに推論を委ねることなくマルチホップ推論（複数の関係をたどる推論）をサポートできる。
段階的な検索と再ランキング
検索も多段階で行われる。
- モダリティ別インデックスに対して類似検索を実施
- 取得したIDを起点に知識グラフの隣接ノードをトラバース
- 検索範囲をローカル・グラフコミュニティ単位・両者の組み合わせから選択
- マルチモーダル再ランカーがテキストと図を統合してLLMプロンプトに挿入
「ベクター検索に頼るだけでなく、他のモードの情報でコンテンツ空間を拡充している。それによってより豊かなナラティブが得られる」（Sengupta氏）
エージェントAIへの接続
EYはこの設計をAIエージェントとの親和性という観点からも評価する。エージェントは意思決定とアクション選択のために最新かつドメイン固有の情報を必要とするため、検索精度の低さは自動化ワークフロー全体にエラーを波及させうる。
「マルチモーダル能力でRAGを拡充すると、エージェントがはるかに適切な意思決定を行えるようになる」とSengupta氏は述べている。
率直な限界
元記事が参照するEYのフレームワーク資料は手法の設計思想を丁寧に説明しているが、比較ベンチマークや定量的な精度向上値は公開されていない。根拠はクライアントプロジェクトの経験と、「視覚的・テキスト的な証拠を統合して取得すればより豊かな回答が得られるはず」という前提に基づく。なお、マルチモーダルGraphRAGに関する学術的な関連研究としては「Adaptive Knowledge Retrieval in Multimodal GraphRAG via Cross-Modal Relationship Learning」（ResearchGate）が存在するが、EYのフレームワークと直接同一のものではなく、あくまで参考文献として示す。
また、「コンテキストウィンドウが拡大すればRAGは不要になる」という見方に対してSengupta氏は反論する。ウィンドウが大きくなればドキュメントを細かく分割する必要は減るが、最も関連性の高い証拠を見つけ出す問題は解決しない。焦点を絞った検索なしには、LLMは依然として「干し草の山の中から針を探している」状態だと述べた。
詳細はEY re-envisions RAG around multimodal knowledge graphs to improve accuracyを参照していただきたい。
