7月10日、Toward Data Scienceが「RAG Was Always a Temporary Workaround. What is Next?」と題した記事を公開した。RAGは本質的に暫定的な回避策であり、AIメモリの最終形はニューラル状態の直接永続化にある——という技術的論考だ。LangChainやLlamaIndexの台頭で2023年に一気に普及したRAGだが、その設計上の制約は当初から変わっていない。記事はその構造的欠陥を7段階のパイプラインで可視化し、次世代アーキテクチャへの移行シナリオを描く。

RAGパイプラインの「翻訳の無駄」

RAGシステムの内部で何が起きているか、一度きちんと追いかけてみると、ある奇妙な事実が浮かび上がる。

Hidden State → Generate Text → Embed Text → Store Vector → Retrieve Vector → Append Text → Recompute Hidden State

この7段階のうち、ニューラルネットワークが本質的な処理をしているのは最初と最後の2段階だけだ。残りの5段階は、「モデルが自分の内部状態をそのまま保存できない」という制約を回避するために存在する。ベクトルDB、埋め込みモデル、リランカー、チャンキング、検索評価——これらは全て、1つの欠けた機能を補うために構築されたエコシステムである。

記事はこれを「高遅延な伝言ゲーム」と表現している。各プレイヤーがニューラルネットワークであるにもかかわらず、情報はいったんテキストという普遍フォーマットに落とし込まれ、また別のニューラル空間に変換し直される。「これをメモリと呼んでいるが、より正直な名前は"高オーバーヘッドな翻訳レイヤー"だ」と著者は指摘する。

「コンテキストウィンドウを広げればいい」は解決にならない

よくある反論として「200万トークンのコンテキストウィンドウに全部入れればいい」というものがある。記事はこれを明確に否定する。

大きなコンテキストウィンドウが解決するのは容量（capacity）だけだ。ポータビリティも永続性も解決しない。

具体的なシナリオとして挙げられているのは、自律エージェント間のタスク引き継ぎ、ドローン・スマートフォン・ロボットなどエッジデバイスのクラスタ間移動、マルチエージェントパイプラインにおける異なるプロセス間の連携だ。これらの環境では、転送単位として200万トークンのプロンプトを使うのは帯域コスト的に現実的でない。受信側はトークン列を最初から再読込（プリフィルパス）しなければならず、「大きなコンテキストは良い本だが、最後の思考をテレポートする手段ではない」とまとめられている。

レイテンシ予算から見たRAGの現実

記事の中でエンジニアに最も刺さる部分が、このレイテンシの試算だ。以下の数値は元記事が示す目安値である。

これらはブロッキングかつ逐次実行の処理だ。デコーディングはプロンプト再構築が終わるまで開始できない。チャットボットでは135msは気にならないが、ロボティクスの制御ループ、触覚フィードバック、自動運転スタック、無線基地局のハンドオーバーのような環境では、この135msが「予算の全て」になってしまう。

記事が主張するのは、GPU間でのレイテント状態の直接転送であれば、埋め込み・ベクトルストアへのネットワークホップ・リトリーバル・リランカー・プロンプト再構築のステップを丸ごと省けるという点だ。個々のステップを速くするのではなく、パイプラインから消去する——それが制約の厳しい環境で唯一意味のある「高速化」だと述べている。

ニューラル状態の直接永続化：現状と課題

「では今すぐ内部状態を保存すればいい」という話にはならない。記事はその技術的困難を率直に列挙している。

• アーキテクチャ互換性：レイヤー数、隠れ次元、アテンション構造、KVキャッシュ（※Transformerがアテンション計算結果をキャッシュする仕組み）のフォーマットが一致している必要がある
• 精度マッチング：fp16の状態をbf16のモデルに渡すと数値がずれる
• レイヤー正規化とResidualスケール：同一トポロジーでも隠れ空間のスケールが異なる場合がある
• 位置エンコーディングの整合：RoPE（※Transformerでよく使われる相対位置エンコーディング手法）のオフセットや絶対位置が合わないと、「自信満々の意味不明な出力」という最悪の失敗モードを引き起こす

テキストはモデル非依存の普遍フォーマットであるため、RAGはこの問題を回避して先に実用化できた。テキストは「難しいものを全て捨てる」フォールバックプロトコルだというのが記事の表現だ。

現在進行中の研究として、**Inductive Latent Context Persistence（ILCP）が紹介されている。送信側の状態を圧縮・ポータブルな表現に変換し、受信側モデルの空間へ投影し直すアプローチだ。ただし現状では完全なアーキテクチャ互換性（通常は同一モデル同士）**の下でしか機能せず、互換性制約の解消は未解決の研究課題である。

「RAGが消える」ではなく「役割が変わる」

記事の結論は煽情的ではない。

テキストRAGは、AIエージェントの主要メモリ機構から、相互運用レイヤーへとシフトしていくだろう。

テキスト検索が真に得意とするのは、アーキテクチャを共有しない異なるマシン間、あるいは人間との境界面での情報受け渡しだ。その役割はなくならない。

変わるのは「AIシステムがメモリを別のAIシステムに渡す唯一の方法が文字列である」という前提だ。その前提は5年前は合理的だった。しかし今や、その合理性は急速に失われつつあると記事は述べる。

リレーショナルDBが消えずに「他の全てを支えるストレージ層」になったように、ベクトル検索もなくならない。ただ、新しいアプリケーションが構築される主要インターフェースの座を明け渡す——というのが記事の立場だ。

詳細はRAG Was Always a Temporary Workaround. What is Next?を参照していただきたい。