10月23日、Bruno Ferreiraが「Deepseek's latest AI model is smarter than ever, but its low running costs come at a price」と題した記事を公開した。この記事では、DeepSeekの最新オープンウェイトモデル「V4.1 Flash revision 1017」がコスト効率とエージェント性能で優れる一方、ハルシネーション率の高さという明確な弱点を抱えていることが詳しく紹介されている。
コスト効率とエージェント性能：DSF-1017の実力
DeepSeekが公開したV4.1 Flash revision 1017（以下DSF-1017）は、552B総パラメータのMoE（Mixture-of-Experts）モデルだ。MoEとは、全パラメータを常時使用するのではなく、入力に応じて一部の「エキスパート」サブネットワークだけを選択的に起動するアーキテクチャで、大規模なパラメータ数を持ちながら推論コストを抑えられる点が特徴だ。DSF-1017は推論時に16Bのみがアクティブになる構造を採用している。マルチモーダル対応（テキスト・画像入力）、コンテキストウィンドウ100万トークンと、スペック上は申し分ない。
コスト面の改善も実質的だ。V4からV4.1へのアップグレードで、KVキャッシュに使うHBMは前世代比1/4、SSDストレージは1/8に削減された。1トークンあたりのエントリは890バイトのみ。価格面では、オフピーク時のAPI料金が入力100万トークンあたり$0.15、出力$0.6。キャッシュヒット時の入力は**$0.003まで下がる。検索機能は1,000クエリあたり$0.75**で、最近似の競合であるParallelの$1を下回る。オープンウェイトモデルのため、サードパーティの推論プロバイダーを利用すればさらに安くなる可能性がある。
DeepSWEベンチマークとは、実世界のGitHubイシューを解決するソフトウェアエンジニアリングタスクの評価セットだ。このベンチマークでは、DSF-1017の低コスト設定でも、高コスト設定の競合モデルに匹敵するタスク完了率を記録している。Artificial Analysisのインテリジェンスインデックスでは、大型オープンウェイトクラス内でスコア45の2位（1位はClaude Opus 5.5の58）。コスパ指標ではXiaomiのMiMo V2.6-Proにわずかに劣る程度だ。
「安くて賢い」の代償：答えられない質問への誤答率
問題はここからだ。Artificial AnalysisのOmniscienceベンチマークによると、DSF-1017は質問に対して43%の正答率を記録する。これはオープンウェイトモデルの中ではトップクラスだが、クローズドな商用モデルには及ばない。
さらに深刻なのが、答えられない質問（モデルが知識を持たない質問）に対して67%の確率でハルシネーション（事実でない情報の生成）を起こすという点だ。この数字はあくまで「答えられない質問への誤答率」であり、全質問に対するハルシネーション率ではない点に注意が必要だ。
なお、Artificial Analysisは独立したAI評価機関で、複数のモデルをAPIコスト・速度・精度の観点から標準化されたベンチマークで比較評価している。Omniscienceはその中でも知識の正確性と不確実性の扱いを重点的に測る評価セットだ。正解に加点・誤答に減点する方式を採用しており、「知らないと答える」能力も間接的に評価される設計になっている。
このスコアリング方式のもと、DSF-1017の得点は5点。Kimi K3-max（Moonshot AIが提供する大規模フラッグシップモデル）が20点、フロンティアモデル群が42点以上であることを考えると、信頼性の差は大きい。
この傾向はDSF-1017に限った話ではない。記事の著者Ferreiraは、Kimi K3についても同様の経験を記している。
「Kimiとの付き合いは短命に終わった。短くて明確なファクト検索でもハルシネーションが出た。Artificial Analysisのデータもその観察を裏付けている」
（Tom's Hardware、Bruno Ferreira）
「速くて安くてアバウト」はオープンウェイト高性能モデルの共通トレンドになりつつある、とFerreiraは指摘している。
「何を任せるか」が重要になる
記事では、DSF-1017に向くタスクと向かないタスクを明確に整理している。
向くタスク（出力を検証できる系）
- プログラミング（テストで検証可能）
- レビュー付きOCR
- フォーマット変換
向かないタスク（ハルシネーションが発覚しにくい系）
- オープンエンドなリサーチ
- ファクト検索
- 高精度な文書の解釈・起草
要するに、エージェントが自分の出力を自己検証できるループを組めるタスクはDSF-1017に向く。逆に、間違いが混入しても気づきにくいタスクにはフロンティアモデルか人間が適切だ。MoEアーキテクチャによってアクティブパラメータを絞り込むことでコストを抑えられる一方、その構造がモデルの「知識の境界認識」の甘さとトレードオフになっている可能性も否定できない。
詳細はDeepseek's latest AI model is smarter than ever, but its low running costs come at a priceを参照していただきたい。
