8月27日、MarkTechPostが「Alibaba's Qwen Team Releases Qwen3.8-Flash-Next: A 125B Multimodal MoE With 6B Active Parameters Previewing the Qwen4 Architecture」と題した記事を公開した。AlibabaのQwenチームがQwen4アーキテクチャの先行実装として位置づけるオープンウェイトのマルチモーダルMoEモデル「Qwen3.8-Flash-Next」の詳細が明らかになった。
Qwen4アーキテクチャの「試作版」という位置づけ
AlibabaのQwenチームはQwen3.8-Flash-Nextをリリースした。このモデルの最大の意味は、ベンチマーク性能よりもむしろ「何の先触れか」という点にある。
Qwenチームは本モデルをQwen4のアーキテクチャを先行公開するプレビューと位置づけている。元記事によればかつてQwen3-NextがQwen3.5の基礎を示したのと同じ役割とされており、今回発表された4つの設計変更——Gated DeltaNet、Qwen Sparse Attention、Gated Residual、N-gram Embeddingの組み合わせ——が、次世代Qwenの核心になるとみてよい。
「125B」と「180B」——2つの数字の意味
本モデルに関しては「125B」と「180B」の2つの数字が登場するため、整理しておきたい。125Bはバックボーン（メインモデル）のパラメータ数であり、これがモデルの中核を指す際に使われる数字だ。一方、180Bはすべてのコンポーネントを合計したディスク上の総パラメータ数で、以下の内訳になる。
- メインモデル（バックボーン）: 125B パラメータ
- N-gramエンベディングテーブル: 51B パラメータ（バイグラム/トライグラムの2,000万エントリ）
- マルチトークン予測モジュール: 4B パラメータ
- ディスク合計: 約180B（FP8チェックポイントで172.78 GiB、BF16で335.28 GiB）
- 1トークンあたりの実際の活性化パラメータ数: 6B のみ
MoE（Mixture-of-Experts）の恩恵で、計算量はコンパクトに抑えられている。ただし「スパース活性化はコンピュートを減らすが、ストレージは減らない」と記事は明記しており、自前でのホスティングにはマルチGPUノードが必要だ。
マルチモーダル対応の概要
モデル名に「Multimodal」と冠されているとおり、Qwen3.8-Flash-Nextはテキスト以外のモダリティにも対応している。元記事ではビジョン能力を示す指標としてMathVision（コードインタープリタあり）で95.7、AndroidWorldで84.5というスコアが報告されており、視覚的推論と実環境のUI操作タスクで高い性能を示している。ただし、対応するモダリティの詳細な仕様（画像解像度の上限、動画・音声対応の有無など）は元記事の範囲では明示されておらず、公式ブログや技術レポートでの確認が推奨される。
4つのアーキテクチャ変更の中身
ハイブリッドアテンション（GDN + QSA）
最も重要な変更がこれだ。48層のうち、4層に1層だけが従来型のアテンション、残り3層は線形アテンションという構成になっている。
- Gated DeltaNet（GDN）: 履歴を固定サイズのリカレント状態に圧縮する線形アテンション。48層中36層で使用される。
- Qwen Sparse Attention（QSA）: トークン単位ではなく「マイクロブロック粒度」でコンテキストを選択するスパースアテンション。512ブロック（2048トークン）のバジェット制限あり。
層の構成は12 × (3 × GDN → 1 × QSA)の繰り返しで、QSAカーネルによる高速化としてプリフィルで最大7.6倍、デコードで4.9倍（1Mトークン時）がアナウンスされている。
なお、SGLangのcookbookでは同様の条件とみられる計測でそれぞれ10.2倍、6.6倍と異なる数値が示されている。MarkTechPostの記事が引用する7.6倍/4.9倍はQwenチーム発表の公式値、10.2倍/6.6倍はSGLang側の実測値とみられるが、ハードウェア構成・バッチサイズ・コンテキスト長などの計測条件の詳細は両者ともに十分に開示されておらず、単純な比較は難しい。独立した条件を揃えた検証が待たれる。
その他の変更
- Gated Residual: 残差ストリームを4つの並列ブランチに拡張。要素ごとのリードゲートとブランチごとのライトゲートを持つ（ボトルネックランク320）。
- N-gram Embedding: 2,000万エントリのバイグラム/トライグラムテーブルを2層目に追加。非同期プリフェッチによりホストメモリへのオフロードが可能（現状はNVIDIAデバイスのみ対応）。
- Muon optimizer: AdamWと並用する形で特定の重みカテゴリに適用。バッチサイズのウォームアップを排除し、スケーリング則も再フィット。
訓練コストはQwen3.7-Plusの約1/9
Qwenチームが主張する数字として、訓練コストはQwen3.7-Plusの約9分の1という点がある。ネイティブコンテキスト長は262,144トークンで、YaRN（長文コンテキスト拡張手法）を使えば100万トークンまで拡張可能だ。
ベンチマーク：強いが全方位ではない
記事が正直に示している弱点が読みどころだ。
Qwen3.8-Flash-Nextが上回る指標:
- DeepSWE 1.1: 58.7
- SWE-bench Pro: 62.5
- SWE-bench Multilingual: 81.0
- LiveCodeBench v6: 91.9
- AndroidWorld: 84.5
- MathVision（コードインタープリタあり）: 95.7
他モデルに劣る指標:
- HLE: 35.9（Claude Opus 4.6 Maxは40.0）
- NL2Repo-Bench: 48.1（DeepSeek-V4-Flash-0731は54.2）
フロンティアの推論タスクではまだ差があるとQwenチーム自身が認めている。
実行環境と注意点
サポートされているサービングフレームワークはvLLM、SGLang、transformers serve、llama.cpp（GGUF量子化）。ファインチューニングはUnsloth、LLaMA-Factory、Swiftが対応している。
FP8での最小構成はGB300上のTP2（テンソル並列度2）で、TP4が推奨。8×H200ノードではTEP8を使う必要があり、通常のTP8はチェックポイントの128幅量子化ブロックと非互換だ。
ライセンスはqwen-community-1.0であり、Apache-2.0ではない。商用利用前に条件の確認が必須だ。
モデルのデフォルトはThinkingモードオン（reasoning_effortはxhigh/medium/lowの3段階）。Thinkingモードの推奨パラメータは温度1.0、top_p 0.95。Instructモードでは温度0.7、top_p 0.80。
詳細はAlibaba's Qwen Team Releases Qwen3.8-Flash-Next: A 125B Multimodal MoE With 6B Active Parameters Previewing the Qwen4 Architectureを参照していただきたい。
