8月1日、MarkTechPostが「AMD Releases Instella-MoE-16B-A3B: A Fully Open Mixture-of-Experts LLM With 2.8B Active Parameters Trained On Instinct GPUs」と題した記事を公開した。AMDがInstinct GPU上でゼロから学習した完全オープンなMixture-of-Experts言語モデル「Instella-MoE-16B-A3B」のリリースについて詳しく紹介されている。
NVIDIAのGPUに依存しないMoEモデルという点がポイント
LLMの開発・研究において、学習インフラはほぼNVIDIA一択という状況が続いている。AMDは今回、自社のInstinct MI300X・MI325X GPU上でフルスクラッチから学習したMoEモデルをリリースし、ROCmエコシステムの実用性を示す形となった。NVIDIAのCUDA環境なしに大規模MoEのエンドツーエンド学習が成立することを、実際のモデルリリースとして示した点が今回の意義といえる。
モデルの基本スペックは以下の通りだ。
- 総パラメータ数: 16B
- トークンごとの有効パラメータ数: 2.8B（2つの共有エキスパート＋64個中6個のルーティングエキスパート）
- レイヤー数: 27、隠れ層サイズ: 2048、アテンションヘッド数: 16
- 語彙サイズ: 128,896トークン
- コンテキスト長: 最大64K（YaRN＋RoPE theta調整で4Kから拡張）
MoE（Mixture-of-Experts）とは、推論時にすべてのパラメータを使うのではなく、入力に応じて一部の「エキスパート」サブネットワークだけを動作させるアーキテクチャだ。計算コストを抑えつつ大規模なモデル容量を持てる点が特徴で、Mistral/Mixtralや中国のDeepSeek系モデルが採用したことで注目が高まっている。
2つの設計上の工夫：Gated MLAとFarSkip-Collective
今回のモデルで技術的に押さえておきたい点は2つある。
Gated MLA（Gated Multi-head Latent Attention） は、DeepSeekが提案したMLA（Multi-head Latent Attention）に出力ゲートを追加した構造だ。入力に条件付けられた線形射影でゲートを導出し、出力射影の直前に乗算する。MLAはKVキャッシュを圧縮してメモリ効率を高める手法だが、Gated MLAはそこに表現力を加える形になる。
FarSkip-Collective は、一部の層で前ステップの計算結果（古くなった部分的な活性化値、いわゆる"stale partial activations"）を再利用しながら、エキスパート間の並列通信と計算処理をオーバーラップさせることで、待機時間を削減する仕組みだ。AMDは、この手法によって事前学習を12.7%高速化し、エキスパート並列サービング時の初回トークン生成時間（TTFT）を最大39.2%削減したと報告している。
学習パイプライン
事前学習は、Nemotron-CC-v2、MegaMath、FineMath、RefineCode、TXT360といったオープンコーパスから7.1Tトークンで実施。その後、Dolma3 Dolminoの100Bトークンを使ったミッドトレーニングで3種のデータバリアントを重み平均でマージしている。
ポストトレーニングはSFT→DPO→RLの順で進む。SFTはDolci-Think-SFT-7BとNemotronの混合データを使用し、最終的にモデルの弱点を狙った51.2万件のフィードバックセットで追加調整。DPOではルーターバイアス更新と補助的な負荷分散ロスを無効化し、性能劣化を防いでいる。RLはMilesフレームワーク上で1,400ステップのRLVR（強化学習による命令追従）を実行後、Multi-Teacher On-Policy Distillationで獲得した能力を定着させる。
ベンチマーク結果
ベースモデルは完全オープンモデルの中で平均76.7を記録し、Moonlight-16B-A3B（76.2）、SmolLM3-3B-Base（70.5）、OLMo-3-7B（70.1）を上回る。ただしQwen3.5-4B-Base（79.5）には及ばない。個別タスクではWinoGrande（86.5）とHumanEval+（65.7）で強みを見せており、常識推論とコード生成での実力が伺える。
ポストトレーニング後のThinkモデルはスコア73.22で、Olmo3-7B-Think（71.97）、Gemma-4-E4B think（70.47）、Qwen3.5-4B（69.73）を上回る。命令追従指標のIFEvalはSFT時点の77.08からThinkで83.70まで改善しており、RLVRと蒸留の組み合わせが指示への忠実性向上に寄与していることが数字に表れている。
ライセンスと実用性
最も注意すべき点はライセンスの区別だ。モデルの重みは**ResearchRAIL**ライセンスで提供されており、学術・研究用途に限定される。商用プロダクトへの組み込みは不可だ。「MITで全公開」という印象を持ちやすいが、MITライセンスが適用されるのはあくまで学習コードベースのみである点を押さえておきたい。
一方、その学習コードベースがMITで公開されていることは、MoEの学習レシピを再現・改変したい研究者や開発者にとって直接的に使いやすい資産といえる。推論にはSGLangのコードが提供されており、BF16での重みサイズは約32GBのため、高メモリ搭載のアクセラレータ1台で動作可能だ。
AMDは重みだけでなく、全学習ステージのチェックポイント、データ混合比、学習設定も合わせて公開している。MoEのエンドツーエンドな学習過程を追いたい研究者には、この透明性が実質的な価値を持つ。
詳細はAMD Releases Instella-MoE-16B-A3B: A Fully Open Mixture-of-Experts LLM With 2.8B Active Parameters Trained On Instinct GPUsを参照していただきたい。
