DeepSeek-V4-ProがMicrosoftの推論特化AIに12戦全勝 — 分岐点は「賢さ」ではなく指示への追従精度だった

8月2日、Runtime Wireが「Head to head: DeepSeek-V4-Pro vs Phi-4-reasoning」と題した記事を公開した。DeepSeek-V4-ProとMicrosoftのPhi-4-reasoningを12タスクで直接対決させた実用的ベンチマークの結果で、スコアは105.5対33.0と一方的な差がついた。注目すべきは敗因の中身だ。Phi-4-reasoningが劣っていたのは推論能力ではなく、「指示通りの成果物を返す」というプロダクト規律の部分だったと記事は結論づけている。

結果：12戦全勝、スコア105.5 対 33.0

DeepSeek-V4-ProがPhi-4-reasoningを12タスク全勝で下した。集計スコアは105.5対33.0だ。

テスト手法はシンプルで再現性が高い。12のテキストタスクをその場で生成し（事前学習データへの混入を防ぐため）、GPT-4oがスコアリングを担当した。ポジションバイアスを排除するため、各タスクで提示順序を入れ替えて2回評価し、両パスの平均値を最終スコアとして採用している。

なお元記事が示す「統計的信頼度100%」とは、2回の評価パス（提示順序A→BとB→A）の両方でDeepSeek-V4-Proが勝利したタスクの割合が全12タスクで一致していたことを指す。すなわち、提示順序を入れ替えても勝敗が逆転したタスクが一件もなかったという意味であり、p値や独立した評価者間の一致率とは異なる指標である点に注意が必要だ。

敗因はインテリジェンスではなく「指示への服従」

記事が強調するのは、Phi-4-reasoningが「賢くなかった」のではないという点だ。問題は「プロダクト規律（product discipline）」の欠如にある。

タスクの内訳は以下の通りで、構造的推論・コーディング・SQL・校正・翻訳など幅広い分野をカバーしている。

矛盾発見：仕様書内の矛盾する2文を引用し、1文で説明する
サポートスレッド要約：各30語のbullet 3本で要約
感情分類：JSONのみで返す
ローカライズ（スペイン語/フランス語カナダ）：文字数制限付きで翻訳
予算計算・スケジューリング：条件付き割引と制約付きスケジューリング
並行性バグ修正（TypeScript）：修正済み関数のみ返す
SQL生成：Q1 2025のセグメント別GMV・返金率クエリ
英文校正：変更箇所をwas -> now形式でリスト化

ほぼすべてのタスクで、Phi-4-reasoningの敗因として挙げられたのは同じパターンだ。

"Model B does not follow the instruction to return only the corrected function and mostly provides verbose reasoning instead of a clean final answer."

「return only JSON」「return only the corrected function」といった明示的なフォーマット指示を無視し、内部推論や自己分析を長々と出力してしまう。正解の考え方がどこかに含まれていても、ユーザーが求めた成果物を届けられなければ意味がない、というのが記事の一貫した評価軸だ。

この傾向はPhi-4-reasoningが「推論特化」モデルである点と無関係ではない。推論モデルはchain-of-thought（思考の連鎖）を内部で展開することで複雑な問題を解くよう最適化されているが、その副作用として中間的な思考プロセスが最終出力に混入しやすいという傾向が知られている。いわば「考えながら書いてしまう」構造的な冗長性であり、ベンチマーク上のスコアには現れにくいが、実用途では致命的な欠点になりうる。※編集部の考察

モデル規模と比較の前提

Phi-4-reasoningはMicrosoftが推論タスク向けに投入した140億パラメータのモデルで、公式ブログではより大規模なモデルに匹敵するベンチマーク性能を主張している。一方、DeepSeek-V4-Proは中国のDeepSeekが開発した大規模MoE（Mixture of Experts）モデルで、総パラメータ数は公開されていないが、アクティブパラメータ数はPhi-4-reasoningを大幅に上回る規模とされている。

MoEアーキテクチャは推論時に全パラメータを使わず専門化したサブネットを選択的に活用する設計であり、計算効率とスケールを両立しやすい。ただし今回の比較はパラメータ規模が異なるモデル間の対決であり、「同サイズ帯でのフェアな比較」ではないことは留意が必要だ。記事もこの点を前提とした上で、あくまで「実務投入を想定した場合の実力差」を問うている。

具体例：TypeScript並行性バグの修正

エンジニア視点で最も実務的なタスクの一つが、非同期メモ化関数のレースコンディション修正だ。問題の関数はこれ：

const cache = new Map<string, Promise<string>>();
async function load(key: string, fetcher: (k: string) => Promise<string>) {
  if (cache.has(key)) return cache.get(key)!;
  const value = await fetcher(key);
  cache.set(key, Promise.resolve(value));
  return value;
}

要件は2つ：①同一keyへの並行呼び出しでfetchが複数回走らないこと、②fetchが失敗してもキャッシュを汚染しないこと（次の呼び出しでリトライ可能）。

DeepSeek-V4-Proはin-flightのPromiseを即座にキャッシュし、rejectされたらエントリを削除するという正しいパターンを実装し、かつ指示通り「修正済み関数のみ」を返した。Phi-4-reasoningは冗長な分析を出力し続け、最終的な関数を明確に提示しなかったと評価された。

なぜこの比較が実務的に意味を持つか

今回の結果が示すのは、推論能力の高さと、指示に従った成果物を返す能力は別物だという点だ。自動化パイプラインやAPIへの組み込みを前提にした実用途では、出力フォーマットの遵守は機能要件そのものになる。「正しい答えが推論の途中に埋もれている」モデルは、パイプラインでパースに失敗する。

記事はこう総括する：

"DeepSeek-V4-Pro looks like the model you can drop into real workflows. Phi-4-reasoning looks like a model that too often mistakes process for deliverable."

なお、本記事のタイトルに含む「賢さではなく指示への従順さが分岐点」という表現は元記事の主張を要約したものだが、この解釈の枠組み自体は記事著者によるものであり、元記事から引用された一文ではない点を付記しておく。

詳細はHead to head: DeepSeek-V4-Pro vs Phi-4-reasoningを参照していただきたい。