8月8日、RuntimeWireが「ARC Prize verifies DeepSeek V4 Flash at 61.4% for $0.04 per task」と題した記事を公開した。ARC PrizeがDeepSeek V4 Flash 0731をARC-AGI-2ベンチマークで公式検証した結果、最大推論努力時に61.4%、コスト1タスクあたり$0.04を達成したと報告している。注目すべきは、推論努力レベルをMaxからLowに落とすだけでスコアが15ポイント超下落するという定量的な関係が明示された点だ。
1タスク$0.04、ARC-AGI-2で61.4%
ARC Prizeは、DeepSeek V4 Flash 0731チェックポイントをARC-AGI-2のSemi-Private評価で検証し、最大推論努力（Max）時に61.4%、コストは1タスクあたり$0.04という結果を報告した。
ARC-AGI-2は、モデルが未知のグリッドベースのパターン認識・抽象推論タスクにどれだけ適応できるかを測るベンチマークだ（なお「視覚的推論」と表現されることがあるが、正確にはピクセル画像ではなく記号的なグリッド表現を扱う抽象推論タスクである）。ARC Prizeが独自の検証プログラムを設けているのは、プロンプトの工夫やデータセットの選定によって結果が大きく変わり得るためで、コスト効率も測定の一部として扱われる。
旧ベンチマークであるARC-AGI-1でも同モデルはSemi-Privateで89.0%（$0.02/タスク）を記録しており、ARC-AGI-2の難易度の高さが際立つ。
推論努力レベルで15ポイント以上の差
今回の評価で特に注目すべきは、推論努力レベルによるスコアの振れ幅だ。
| 推論努力レベル | ARC-AGI-2スコア |
|---|---|
| Max（最大） | 61.4% |
| High（高） | 56.0% |
| Low（低） | 46.0% |
MaxとLowの差は15.4ポイントに達する。つまり、どの努力レベルで動かすかによって、モデルの性能評価はまったく異なる数字になる。この事実は、公開されているベンチマーク数値を読む際に「どの設定で測ったか」を確認する重要性を示している。
DeepSeekはこの推論努力をAPIのパラメータとして開発者が調整できる仕様にしている。レイテンシやコストの上限に応じて計算量を調整できる設計は、実運用での使い分けを意識したものだ。
なお、$0.04という数字はあくまでARC-AGI-2の最大努力評価における数字であり、長いコンテキストウィンドウや大量のツール呼び出しを伴う実アプリケーションではコストはこれを超える。DeepSeekの現在のAPI料金は、未キャッシュ入力トークンが$0.14/百万トークン、キャッシュ済み入力が$0.0028/百万トークン、出力が$0.28/百万トークンとなっている。
アーキテクチャとDeepSeekの背景
V4 Flashは総パラメータ数2840億を持つが、各トークン処理時に実際に活性化するのは約130億パラメータのみだ。Mixture-of-Experts（MoE）と呼ばれるアーキテクチャで、各トークンをモデルの一部のサブセットのみに通す設計により、計算効率を高めている。
技術的には、圧縮スパースアテンション、多様体制約付きハイパーコネクション、Muonオプティマイザなどの手法が採用されており、最大100万トークンのコンテキストウィンドウをサポートする（API上の最大出力は384,000トークン）。
こうした設計思想の背景には、DeepSeek創業者である梁文鋒（Liang Wenfeng）の出自が関係していると元記事は指摘している。梁は機械学習を自動売買に応用した量的ヘッジファンド「High-Flyer」の創業者でもあり、量的トレーディングの世界ではコスト計算を通過しない改善は意味を持たない。DeepSeekがモデルの能力と計算量の関係に強くこだわる背景には、この規律があるとされる。
オープンウェイトでの配布
DeepSeek V4 Flash 0731の重みはMITライセンスのもとHugging Faceで公開されており、Transformers、vLLM、SGLang、Dockerを使ったデプロイ手順も提供されている。ローカル推論も可能だ。
APIとセルフホストの両ルートを用意することで、インフラチームが自社スタック上でチェックポイントを運用・カスタマイズすることもできる。
評価の限界
ARC-AGI-2はあくまでグリッドベースの抽象推論への適応力を測るものであり、コーディング、セキュリティ、ツール使用といった実運用エージェントに求められる能力全般を評価するものではない。次世代のARC-AGI-3は、エージェントが情報を収集しながら行動するインタラクティブな環境を評価対象としており、V4 Flash 0731のスコアはまだ報告されていない。
検証された事実をまとめると、DeepSeek V4 Flash 0731はARC-AGI-2 Semi-Privateで最大努力時に61.4%を達成し、そのコストは1タスクあたり$0.04である。計算量を落とせばスコアも落ちる——その定量的な関係を示した点に、この評価の実用的な価値がある。
詳細はARC Prize verifies DeepSeek V4 Flash at 61.4% for $0.04 per taskを参照していただきたい。
