8月7日、Maximilian Schreinerが「China's Largest AI Model Is Being Developed at Bytedance」と題した記事を公開した。TikTok親会社のByteDanceが最大10兆パラメータのAIモデルをプレトレーニング中であり、中国最大規模のモデル開発が進んでいることが報じられている。

10兆パラメータ——中国最大規模のモデルへ

Financial Times（FT）の報道によると、ByteDanceが最大10兆パラメータのAIモデルをプレトレーニング中だ。FTに情報を提供した関係者3名によれば、現在その段階にある。プレトレーニングは通常3〜6ヶ月を要するフェーズだ。

この規模がどれほど突出しているかを理解するために比較対象を挙げると、元記事によれば現在中国最大とされるMoonshot（月之暗面）のKimi K3が約3.3兆パラメータとされており、ByteDanceのモデルはその約3倍に達する計算になる。なお、Kimi K3のパラメータ数はあくまで元記事に記載された数値であり、公式発表ではない点に留意されたい。

また、元記事ではAnthropicの規模との比較にも言及しているが、具体的なモデル名やパラメータ数はAnthropicが非公開としており、元記事でも確定的な数字は示されていない。10兆パラメータという規模が業界トップクラスに位置しうることの文脈として触れられているにとどまる。

「蒸留なし」で1年以上——ただし情報筋1名の証言

技術面で特筆すべきは、FTに情報を提供した関係者のうち1名が「蒸留（distillation）を1年以上避けている」と明かした点だ。

蒸留とは、他社モデルの出力を訓練データとして活用する手法を指す。効率的にモデル性能を引き上げられる一方、他社技術への依存や利用規約上の問題が生じやすい。DeepSeekをはじめとする複数の中国AIモデルが蒸留を活用しているとされる中、ByteDanceは独自データでのトレーニングにこだわっている姿勢を示しているとされる。

ただし、この「蒸留なし」という情報は関係者1名の発言に基づくものであり、ByteDance公式の方針として確認されたわけではない点には注意が必要だ。タイトルや見出しで断定的に扱うには根拠の強度として留保が必要な情報である。

創業者・張一鳴が直接指示——「世界トップ」を目標に

ByteDance創業者の張一鳴（Zhang Yiming）は、社内の約2,000人規模のチーム「Seed」に対し、長期的に「世界トップクラスのモデル能力」を目指すよう直接指示を出したとされる。

Seedチームは動画生成モデル「Seaweed」や、テキスト・画像生成を手がける「Doubao」シリーズなどの開発実績を持つ。2,000人規模の専任チームによるモデル開発体制は、同社がAI研究開発に経営トップレベルで強くコミットしていることを示している。

xAIも同規模——超大規模モデル開発競争の構図

ByteDanceだけではない。元記事によれば、イーロン・マスクが自社のColossus 2クラスター上で、6兆および10兆パラメータのGrokバリアントを学習中であることを明らかにしている。

超大規模モデルの開発競争が、米中の複数企業で同時並行で進んでいる構図だ。パラメータ数はモデルの表現能力に影響する指標のひとつだが、実際の性能はデータ品質や学習手法にも大きく左右される。規模だけで優劣は決まらない点には留意が必要だ。

詳細はChina's Largest AI Model Is Being Developed at Bytedanceを参照していただきたい。