7月31日、Manifest.buildが「Everyone is building LLM routers, we deprecated ours」と題した記事を公開した。LLMルーターを実運用した末に廃止するに至った経緯と、その背景にある技術的・実運用上の問題点を詳しく紹介する内容だ。「コストを削減しているつもりが、見えにくい別のコストとして別の場所で払い直していた」——この逆説的な結論が、マルチモデル戦略を検討するチームにとって重要な示唆を含んでいる。

LLMルーター（LLM router）とは、ユーザーのリクエストを受け取り、内容の複雑さやコストに応じて最適なモデルへ動的に振り分けるミドルウェアのことだ。「単純なタスクに高価なモデルを使わない」というコスト削減の発想から生まれており、現在も多くのサービスやOSSが同様のコンセプトで開発・リリースされ続けている。

Manifestは自社のLLMゲートウェイ（リクエストのルーティング・管理・観測を一元化するプロキシ層）の主要機能としてLLMルーターを公開した。リクエストをsimple・standard・complex・reasoningの4段階に分類し、Anthropic、DeepSeek、OpenAI、Mistralへ振り分ける設計だった。

※元記事に公開年月の明示がないため、本記事では年月の記載を省いている。シャットダウン予定日は2025年9月1日と記載されている。

しかし、7,000名のクラウドユーザーを対象に4ヶ月間運用した結果は芳しくなかった。GitHubには大量のissueとディスカッションが積み上がり、廃止を決定。2025年9月1日に完全シャットダウンする。以下が廃止の主な理由だ。

プロンプトだけでは複雑さは判断できない

ルーターはリクエストのプロンプトを見て複雑さを分類するが、プロンプトはタスクの「トリガー」に過ぎない。実際の複雑さはツール呼び出しやWeb検索など、処理が進む中で初めて明らかになる。

記事中の例が端的だ。「$GIT_REPOのテストを評価して改善せよ」というプロンプトは、対象がシンプルな個人サイトなら軽微なタスクだが、Linuxカーネルのリポジトリを指定した瞬間に極めて複雑なタスクへ変わる。プロンプト文字列だけを見ているルーターには、この判断はできない。

コスト削減ならキャッシュの方が効く

ルーターの主目的はコスト削減だが、プレフィックスキャッシュの方が効果的だというのが結論だ。

プレフィックスキャッシュとは

プレフィックスキャッシュ（prefix caching）とは、プロンプトの先頭部分（プレフィックス）が以前のリクエストと一致する場合、その処理済みトークンをキャッシュとして再利用する仕組みだ。OpenAI・Anthropic・Google Geminiなど主要プロバイダーが対応しており、キャッシュヒット時の入力トークンコストはキャッシュなしと比べて75〜90%安い（元記事記載の数字。具体的な割引率はプロバイダー・プランによって異なる）。

キャッシュとルーティングは相性が悪い

システムプロンプトや会話履歴はトークン数が多く、プロンプトの先頭に位置するためプレフィックスキャッシュと相性が良い。そしてキャッシュを最大限に活用するためには、同じモデルを使い続けることが前提になる。つまり、キャッシュを意識したルーターは「ルーティングしないことでルーティングする」という矛盾した状態に陥る。

モデルを混在させると挙動の一貫性が壊れる

「エンジニアはどのLLMを使うか気にするべきではない」という主張に対し、Manifestは明確に反論する立場だ。

画家が使う筆を選ぶように、職人が道具を吟味するように、エンジニアはモデルのトレードオフと特性を理解した上で選択すべきだという。Manifestでは各エンジニアが意図に基づいてモデルとパラメータを選定している。

セッション中のモデル切り替えが招く問題

作業セッション中にモデルが切り替わると、アウトプットの質が下がり、ツールへの習熟も妨げられる。ルーターはリクエストごとに最適化を図るが、セッション全体の一貫性という観点では最適化にならない。

自動化パイプラインでは不確実性のコストが大きい

エージェント型ワークフローや自律エージェントにおいては、ルーターが加える不確実性のレイヤーが、節約額を上回るコストをもたらす可能性がある。評価（evals）、システムプロンプト、オブザーバビリティ（可観測性）など、あらゆる部分のメンテナンスが難しくなるからだ。

各リクエストを分離し、適切なモデル・パラメータ・プロンプトを明示的に設定する方が、ほとんどのケースで優れていると結論づけている。

「節約分は別の場所で払う」

記事の結論は明快だ。LLMルーティングが有効なユースケースは存在するかもしれないが、Manifestが観測した大半のケースでは割に合わなかった。「節約された金額は別の場所で払われており、そのコストは見積もりにくい」という指摘は、マルチモデル戦略を検討しているチームにとって重要な示唆を含んでいる。

シングルモデルで運用し、キャッシュを活用し、モデルの挙動を深く理解する。それが現時点での実践的な結論だ。

詳細はEveryone is building LLM routers, we deprecated oursを参照していただきたい。