8月31日、DeepSeekが「deepseek-ai/DeepSeek-V4-Flash-Vision-Exp · Hugging Face」と題したモデルをHugging Face上で公開した。DeepSeekのV4-Flashアーキテクチャに視覚モジュールを追加した初の実験的マルチモーダルモデル「DeepSeek-V4-Flash-Vision-Exp」の詳細が明らかになっている。
DeepSeekのV4系列に初のマルチモーダルモデルが登場
そもそもDeepSeek-V4-Flashとは、DeepSeekが開発・公開している大規模言語モデルV4ファミリーの中で、推論効率を重視した軽量・高速バリアントに位置するモデルだ。V4（無印）が最大性能を追求したフラグシップモデルであるのに対し、V4-Flashは速度とコストのバランスを重視した設計となっている。今回公開されたDeepSeek-V4-Flash-Vision-Expは、このV4-Flashをベースに視覚モジュールを組み込み、継続学習によって画像理解能力を付与した実験モデルだ。DeepSeekがV4ファミリーとしてマルチモーダル対応モデルを公開するのはこれが初となる。
ライセンスはMITライセンスで公開されており、商用利用を含む自由な利用が可能だ。
テキストエージェント性能を維持しつつ、マルチモーダル能力を大幅強化
このモデルの特徴は、テキスト専用タスクの性能をほぼ落とさずに、マルチモーダルエージェント能力を大幅に向上させた点にある。ベンチマーク結果は以下のとおりだ。
| ベンチマーク | DeepSeek-V4-Flash-Vision-Exp | DeepSeek-V4-Flash-0731 | Opus-4.8 |
|---|---|---|---|
| テキストエージェント | |||
| Terminal Bench 2.1 | 83.9 | 82.7 | 85.0 |
| NL2Repo | 57.7 | 54.2 | 69.7 |
| DeepSWE | 59.3 | 54.4 | 58.0 |
| Toolathlon-Verified | 75.9 | 70.3 | 76.2 |
| DSBench-Hard | 63.6 | 59.6 | 71.7 |
| マルチモーダルエージェント | |||
| ApexBench (Pass@1) | 36.5 | 26.2† | 39.4 |
| Agents' Last Exam | 27.3 | 25.2† | 25.7 |
| Chartography | 64.3 | — | 65.0 |
| ZeroBench (Pass@5) | 35.0 | — | 34.0 |
†ApexBenchとAgents' Last ExamにおけるDeepSeek-V4-Flash-0731は、入力中のマルチモーダル要素を無視する形での評価。
比較対象として登場する「Opus-4.8」は、Anthropicが開発するClaudeシリーズのモデル（Claude Opus相当）であり、元記事の表記に基づいている。
各ベンチマークの概要は次のとおりだ。ApexBenchはビジョンを含む複合エージェントタスクの能力を測る総合ベンチマーク、Agents' Last Examは実世界を模した難易度の高いマルチモーダルエージェント課題群、Chartographyはグラフや図表の読み取り・解釈能力を評価するベンチマーク、ZeroBenchはゼロショット条件下での視覚推論能力を測定するベンチマークだ。
マルチモーダルエージェント系ベンチマークで特に目を引くのがApexBenchだ。V4-Flash-0731の26.2に対し、Vision-Expは36.5と約10ポイント向上しており、Opus-4.8（39.4）に肉薄する水準に達している。
一方、Agents' Last Exam（27.3）ではOpus-4.8（25.7）を上回っており、テキスト+マルチモーダルの複合エージェントタスクでは既存の有力モデルと競合できる性能を示している。
評価条件として、DeepSeekモデルはDeepSeek Harnessのminimalモードをエージェントフレームワークとして使用し、max推論レベル、temperature = 1.0、top_p = 0.95で実行されている。
リポジトリ構成と推論実装
公開されているリポジトリには、トークナイザー、プロンプトエンコーディングのリファレンス実装、そして最小構成のPyTorch推論実装が含まれている。推論実装がカバーする範囲は以下のとおりだ。
- ビジョンエンコーダおよびアライナー
- DFlashアテンション（DeepSeek独自のFlashAttention実装。標準的なFlashAttentionをベースに効率化が施されている）
- MoE（Mixture of Experts）（複数の専門化したサブネットワーク「エキスパート」から入力に応じて動的に選択して推論する手法。大規模モデルの効率化に広く用いられる）
- Hyper-Connections（レイヤー間の残差接続を動的に制御する、DeepSeekが採用するアーキテクチャ上の工夫）
- DSpark フォワードパス（DeepSeekの分散推論基盤上での効率的な順伝播処理の実装）
.
├── encoding/ # OpenAI形式のメッセージ → モデルプロンプト変換
├── inference/ # 重み変換と最小推論実装
│ └── examples/ # TXTとJSONのビジョンプロンプトサンプル
├── config.json
├── generation_config.json
├── model.safetensors.index.json
├── tokenizer.json
└── tokenizer_config.json
encoding/とinference/は意図的に分離されており、プロンプト整形はPyTorchに依存しない設計になっている。
プロンプト形式
プロンプトのエンコードには2種類の形式が対応している。
- OpenAI形式のJSONコンテンツブロック（OpenAI APIと互換性のある形式）
- コンパクトなTXT記法（
<image>path</image>のようなシンプルな記法）
両者は同一のプロンプトおよびトークンIDに変換されるため、用途に応じて使い分けが可能だ。詳細はencoding/README.mdに記載されている。推論の実行手順（依存パッケージのインストール、チェックポイント変換、推論コマンド）についてはinference/README.mdを参照されたい。
詳細はdeepseek-ai/DeepSeek-V4-Flash-Vision-Exp · Hugging Faceを参照していただきたい。
