8月28日、MarkTechPostが「GLM-5.3-Flash vs Qwen3.8-Flash-Next: Two Chinese AI Labs Independently Converge on the Same Model Architecture」と題した記事を公開した。この記事では、中国の2つのAIラボが独立して開発したモデルが、アーキテクチャ設計のほぼ全項目で一致するという現象について詳しく紹介されている。

独立開発なのに設計が一致

1日違いでリリースされた2つのモデルがある。**Z.aiのGLM-5.3-Flash（総パラメータ320B、アクティブ18B、マルチモーダルMoE）と、AlibabaのQwenチームによるQwen3.8-Flash-Next**（総パラメータ125B＋51Bのn-gram埋め込みテーブル、アクティブ6B）だ。

Z.aiは、中国の大手AI企業Zhipu AI系列のラボで、GLMシリーズを継続開発している組織だ。一方、Kimi Delta Attentionの開発元であるMoonshot AIは、Kimiシリーズを手がける中国発のAIスタートアップで、Z.aiとは別組織だが、ともに中国の独立系AIラボとして活発な研究を行っている。

両チームは独立して設計した。にもかかわらず、コンフィグを並べると判別が難しいほど似ている。具体的には以下の4点が一致している。

• 線形アテンション（Linear Attention）と全アテンション（Full Attention）の比率：3:1
• コンテキスト圧縮後の上限：2048トークン
• 残差ストリームを4つのゲート付きブランチに分割
• Muonオプティマイザを使用し、融合パラメータ行列を直交化前に分割

これは偶然の一致ではなく、アーキテクチャ設計の最前線で何が「効く」かについて独立した収束が起きていることを示している。

収束点1：4層に1回だけ「まともな」アテンションを使う

GLM-5.3-Flashは全45層のうち34層が線形アテンション、11層が全アテンション。Qwen3.8-Flash-Nextは全48層を「線形×3＋全アテンション×1」のブロックで構成する。どちらも3:1比率に到達した。

線形アテンション層の利点は計算コストだ。通常のTransformerはKVキャッシュがコンテキスト長に比例して膨らむが、線形アテンションは全履歴を固定サイズの再帰状態に圧縮するため、トークンあたりの計算量がコンテキスト長によらず一定になる。

実装は微妙に異なる。GLMはMoonshot AI（Kimiシリーズを手がける中国の独立系AIスタートアップ）が開発したKimi Delta Attention（KDA）を採用し、チャンネルごとの減衰ゲートを持つ。QwenはGated DeltaNet（GDN）を独自実装し、ゲート粒度はヘッド単位だ。異なる粒度、同じデルタルール族、同じ役割。

収束点2：4倍圧縮して2048トークンだけ見る

全アテンション層でもコンテキスト全体は見ない。両モデルとも、学習済みのインデクサがコンテキストをスコアリングし、重要な部分だけを選ぶ。

GLMのLightning Indexerは32ヘッドでトップ2048トークンを選択する。1Mトークンのような長いコンテキストでインデクサ自体のコストが問題になるため、Z.aiはIndexPoolを導入。インデクサのキーベクトル4本を加重プーリングで1本に圧縮してからスコアリングする。

QwenのQSA（Qwen Sparse Attention）は4トークンのマイクロブロックを単位としてスコアリングし、上位512ブロック＝2048トークンを保持する。結果として、両モデルとも「4倍圧縮してスコアリング、2048トークンに絞る」という設計になっている。このパターンはDeepSeekのDSA（DeepSeek-V3.2-Exp）が先行していた。

効果は大きい。Z.aiによると、GLM-5.3-FlashはフルモデルのGLM-5.3と比べてアテンション計算量を約3倍削減、KVキャッシュサイズを4.4倍削減している。Qwen側では1Mトークン時にプリフィル7.6倍、デコーディング4.9倍の高速化を報告している。

収束点3：残差ストリームを4本に増やす

2017年のTransformer登場以来続いてきた単一残差ストリームを、両モデルとも捨てた。4本の並列ブランチにゲートをつける設計だ。

GLMはDeepSeek発のManifold-Constrained Hyper-Connections（mHC）を採用。Qwenは独自のGated Residualを実装し、要素単位の読み取りゲートとブランチごとのスカラー書き込みゲートで制御する。QwenチームはGated ResidualとmHCをアブレーションで比較した結果、品質は同等と判断。加えてGated ResidualはFP8での残差保存を可能にし、メモリアクセスオーバーヘッドを下げる実装上のメリットもある。

収束点4：Muonオプティマイザで融合行列を直交化前に分割する

4つ目の収束点は最適化手法にある。両モデルともに**Muonオプティマイザ**を採用し、さらに融合パラメータ行列を直交化処理の前に分割するという実装上の決断で一致している。

Muonはニュートン法的な更新則を近似するオプティマイザで、特に大規模なモデルの学習安定性と収束速度の改善に効果があるとされる。融合行列を直交化前に分割するというアプローチは、直交化の対象となる行列のサイズを抑え、計算効率と数値安定性を両立するための工夫だ。独立した2チームが同じ実装判断に至ったという事実は、この手法がスケールするモデルにとって実質的なベストプラクティスになりつつある可能性を示唆している。

唯一の相違点：位置エンコーディング

明確に判断が分かれたのは位置エンコーディングだ。

GLM-5.3-Flashは全アテンション層でRoPEを削除（NoPE）し、位置情報は線形アテンション層の再帰状態に任せる。

Qwenは同じことを試みて、RoPEを残す結論に至った。事前学習のロス曲線では差が出なかったが、RLHF後の問題が発覚したためだ——NoPEのモデルは生成を止められなくなることがあった。事前学習段階では見えない挙動の欠陥がポスト学習後に現れるという、フィールドにとって有用な知見だ。

唯一の反論：MiniMax

4ラボ（Z.ai、Qwen、DeepSeek、Kimi）が3:1ハイブリッドに賭ける中、MiniMaxは反対の立場をとる。

MiniMaxはM2開発時に線形アテンションとスライディングウィンドウアテンションを大規模にアブレーションし、特にSFT後の32Kトークン超のコンテキストでマルチホップ推論に深刻な欠損が出ると報告（arXiv:2605.26494）。M2は全層を全アテンションで構成した。後継のM3ではMiniMax Sparse Attention（MSA）でsoftmaxアテンションをブロック選択でスパース化しているが、線形アテンション層はゼロだ。

フィールドの合意はまだ固まっていない。線形ハイブリッドが推論を維持できるかどうか、スタックごとに結論が異なる。タイトルで「業界標準になりつつあるか」と問いかけたが、MiniMaxの一連の検証はその問いに対する重要な留保として機能している。複数の強力なラボが同じ設計に収束しているのは事実だが、それが「正解」である証明とはまだ言えない段階だ。

まとめ

独立した2ラボがほぼ同一の設計に収束したという事実は、現時点のアーキテクチャ探索が「発見フェーズ」から「検証フェーズ」に移りつつあることを示唆している。MiniMaxの反論がどう決着するかが、次の注目点だ。

詳細はGLM-5.3-Flash vs Qwen3.8-Flash-Next: Two Chinese AI Labs Independently Converge on the Same Model Architectureを参照していただきたい。