10月12日、Dataconomyが「Study finds reliability issue in DeepSeek V4 models」と題した記事を公開した。この記事では、DeepSeekの最新モデルが採用するメモリ節約技術に、コンテキスト内での情報の配置位置によって検索精度が最大40ポイント変動するという信頼性の問題が発見されたことを詳しく取り上げている。

DeepSeekのコスト削減技術に潜む盲点

DeepSeek-V4（※本リンクは元記事に基づく。記事公開時点でのGitHub上の実在状況については元記事を参照されたい）は、長いコンテキストを処理する際のメモリ・計算コストを抑えるために、圧縮KVキャッシュ（Key-Valueキャッシュ）を採用している。この技術は、連続するトークンをウィンドウ単位でグループ化し、より少ないキャッシュエントリに圧縮するものだ。

KVキャッシュとは：Transformerが過去のトークンを参照する際に使う中間データを保持するバッファ。長文処理では非常に大きくなるため、圧縮して省メモリ化するアプローチが広まっている。

この圧縮によるコスト削減効果は実際に大きく、DeepSeek自身によればV4.1-Flashは旧V4-Flashと比べて高帯域メモリが4分の1、SSDキャッシュが8分の1で動作する。

しかし今回の研究が指摘したのは、その圧縮構造が生み出す「周期的な弱点」だ。

位置によって精度が最大40ポイント変動

ByteDance Seedの研究者を中心に、プリンストン大学・スタンフォード大学・UCバークレーの研究者が共著したこの論文（2025年9月末に公開、査読未了）は、「フェーズ感度（phase sensitivity）」と呼ぶ現象を報告している。なお、論文の詳細は元記事のリンク先から参照できる。

約128,000トークンのコンテキストを使ったテストで、DeepSeek-V4系モデルの情報検索精度が、ターゲット情報の圧縮ウィンドウ内での位置によって最大40パーセントポイント変動することが確認された。この現象はDeepSeek-V4、DeepSeek-V4.1、および研究用に事前学習した圧縮モデルすべてで観測された。

特に示唆的なのはコード補完の実験だ。研究者らは、対象コードの前に置く無関係なテキストだけを変更し、コード本体はまったく同じにした。それだけで、圧縮ウィンドウ内でのコードの位置がずれ、モデルの出力が周期的に変化した。DeepSeek-V4.1-Flashでも同様のパターンが、そのモデル固有の圧縮設定に対応した別の間隔で現れた。

さらに、研究者らは異なるKVキャッシュ圧縮手法を用いて小規模なTransformerモデルをゼロから学習させた。チャンク単位の圧縮を使ったモデルはすべて同様の位置感度を示したが、フルアテンションモデルでは同じパターンは現れなかった。これは圧縮アーキテクチャに固有の構造的問題である可能性を強く示唆している。

重要なのは、この現象がプロンプトの書き方や情報の選び方といったユーザー側の工夫で解決できる類いの問題ではない点だ。コンテキスト内での情報の物理的な位置がウィンドウ境界に対してどこに落ちるかという、アーキテクチャ上の構造に起因する問題であり、プロンプト設計の改善によって根本的に回避することは難しい。

「平均スコアが良くても信頼できない」という問題

この研究が特に警告するのは、ベンチマークの平均スコアが体系的な弱点を隠しうるという点だ。

モデルは平均的な長文処理タスクでは高スコアを出しつつも、特定の位置に情報が置かれた場合に著しく精度が落ちる、という状態が成立する。論文は「チャンク圧縮KVキャッシュを使うモデルの評価では、同じ情報を複数の位置でテストすべきだ」と主張している。

論文の結論は「圧縮モデルは全体的に不正確だ」というものではない。あくまで、位置に依存した系統的な弱点が存在するという指摘だ。実際の業務アプリケーションでこの効果がどの程度問題になるかは、まだ未解明な部分も多い。

なぜ今これが重要か

DeepSeekはコスト効率の高い長文処理を自社アーキテクチャの柱に据えており、V4.1-Flashはその路線をさらに推し進めたモデルだ。この問題が実運用上で特に深刻になりうるのは、長いコンテキストに大量の情報を詰め込んで使うユースケースだ。

たとえばRAG（Retrieval-Augmented Generation）パイプラインでは、検索結果として取得した複数のチャンクをコンテキストに連結して渡すのが一般的だが、各チャンクがウィンドウ境界のどこに落ちるかはパイプラインの実装次第でほぼ制御できない。チャンクの内容や品質が同じであっても、その配置によってモデルの参照精度が変動するとすれば、RAGシステム全体の回答品質が非決定的にばらつく原因になりうる。同様に、長文コード解析や大規模ドキュメントのサマリー生成といったタスクでも、処理対象の位置が出力品質に影響する可能性がある。

コンテキストに入れる情報の順序や配置が、意図せず精度に影響を与えているかもしれない——そういう観点でモデルを評価・利用する必要性を、この研究は突きつけている。

詳細はStudy finds reliability issue in DeepSeek V4 modelsを参照していただきたい。