11月6日、The Decoderが「Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model」と題した記事を公開した。Baiduが公開した「ERNIE 5.5 Flash Base」の最大の特徴は、スペックの大きさではなく「base-onlyリリース」という設計判断にある。ファインチューニングも後処理（post-training）も一切施さず、素の基盤モデルだけをコミュニティに渡すことで、モデルの方向性を開発者自身に委ねるという考え方だ。総パラメータ数2800億、学習トークン数33.5兆という規模のモデルを、あえて「未完成」の状態で投入する判断は、現在の中国勢オープンソース競争においても一際目を引く。
ファインチューニングなし、素のまま公開
ERNIE-5.5-Flash-Baseは、ファインチューニングや後処理（post-training）を意図的に施していない「基盤モデル（foundation model）のみ」の形で公開された。開発者自身がモデルをどう育てるかを決める、という設計思想だ。ポスト学習済みバージョンは後日リリース予定とThe Decoderの記事では伝えられている。
base-onlyリリースは、特定のタスクやドメインに特化したファインチューニングを自社で行いたい企業・研究者にとって有用な選択肢となる一方、即座にプロダクト用途に投入するには相応のファインチューニング投資が必要になる。このトレードオフを承知の上で「素のまま渡す」判断をしたことが、今回のリリースの核心だ。
アーキテクチャと学習規模
モデルのアーキテクチャはMoE（Mixture of Experts）を採用している。MoEとは、全パラメータのうち一部だけを入力ごとに「活性化」させる手法で、推論コストを抑えつつ大規模なパラメータ数を実現できる。総パラメータ数が2800億あっても、1入力あたりに実際に動くのは140億パラメータ分であり、推論時のコストはその規模に近い形に抑えられる。
主なスペックは以下の通り。
- 総パラメータ数: 2800億（280B）
- 1入力あたりの活性パラメータ数: 140億（14B）
- 学習トークン数: 33.5兆トークン
- 学習時コンテキスト長: 最大128,000トークン
- ファインチューニング・推論時コンテキスト長: 最大100万トークン
100万トークンのコンテキスト長は、長文書類の処理や大規模なコードベースを丸ごと扱うような用途で有効な仕様だ。学習時の128Kから推論・ファインチューニング時に100万トークンまで拡張されている点も注目される。
ベンチマーク結果
BaiduによるとERNIE 5.5 Flash Baseは、推論・コード・長文コンテキストのベンチマークにおいて、同規模のオープン基盤モデルと競合するパフォーマンスを示した。比較対象として登場するのは以下の3モデルだ。
- DeepSeek-V4-Flash-Base: DeepSeekが公開するMoE系フラッシュモデルのbase版。DeepSeek V3系列の後継にあたる位置付け
- MiMo-V2.5-Base: Xiaomiが公開する推論特化型モデルのbase版。数学・コード・推論タスクで注目されている
- Hy3-preview-Base: 騰訊（Tencent）が公開するHunyuanシリーズのpreview base版
評価は同一パイプライン上で実施されており、Exam・STEM・Reasoning・Knowledge・Code・Multilingual・Long Contextの7カテゴリが対象となっている。
ERNIE 5.5 Flash BaseをDeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Baseと比較したベンチマーク結果。| 画像: Baidu
重みの入手方法と精度フォーマット
モデルの重みはFP8およびBF16形式でHugging Faceから取得できる。両フォーマットの使い分けは主にハードウェア環境と用途による。
- FP8（8ビット浮動小数点）: NVIDIAのH100やH800など、FP8演算をネイティブサポートするGPUで推論スループットを最大化したい場合に適している。メモリ消費を抑えられるため、大規模モデルの展開コスト削減に有効だ
- BF16（Brain Float 16）: より広いダイナミックレンジを持ち、ファインチューニングや精度を重視した推論に向く。A100など多くのモダンGPUでサポートされており、汎用性が高い
中国勢のオープンソース大型モデル競争
DeepSeekがV3・R1系列をオープンソース公開して以来、中国のAI各社による大型モデルのOSS投入が続いている。Baiduの今回のリリースもその流れの一環だ。「開発者コミュニティにモデルの方向性を委ねる」というbase-onlyアプローチは、MetaのLlamaシリーズが広めた文化に近い考え方といえる。
ただし、厳密には両者の戦略には差異がある。MetaはLlamaシリーズにおいてbase版と同時にinstruct（チャット向け）版も公開することが多く、エンドユーザーがすぐ使える形も提供してきた。対してBaiduは今回、base版のみを先行公開し、ポスト学習済みバージョンを後日に回している。「開発者ファースト」という方向性は共通しつつも、リリース戦略の設計は異なる点には注意が必要だ。
詳細はBaidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation modelを参照していただきたい。
