7月20日、Dataconomyが「Musk teases next-generation 2T Grok AI model」と題した記事を公開した。Elon MuskがxAIの次世代LLM(内部名未確定、「Grok 4.6」と呼ばれる見込み)について、2兆パラメータ規模での初期トレーニング完了が間近であると予告したことを詳しく伝えている。
2Tモデル「Grok 4.6」(仮称)、来週トレーニング完了へ
Muskは7月18日、xAIが開発中の大規模言語モデルが翌週中に初期トレーニングを終えると発表した。なお、この段階では内部名称は確定していない。Dataconomyの記事では「Grok 4.6」との呼称が使われているが、正式名称については公式発表を待つ必要がある。
このタイミングは偶然ではない。その2日前の7月16日、Moonshot AIが2.8兆パラメータのオープンウェイトモデル「Kimi K3」を発表しており、「現時点で公開されている最大のオープンウェイトモデル」と位置付けられている。Kimi K3のフルモデルウェイトは7月27日に公開予定だ。
Muskの発言によれば、次世代Grokはパラメータ規模でKimi K3に劣るものの性能面での逆転を目標としつつ、Grok 4.5と同水準のコスト効率を維持する設計になっているという。
オープンウェイトモデルとは、モデルの重み(パラメータ)を公開し、誰でも自由にダウンロード・ホスティング・ファインチューニングできる形式のモデルを指す。クローズドなAPIアクセスのみを提供するモデルと異なり、企業や研究者が自社インフラ上で独自に運用・改良できる点で注目されている。Kimi K3はこのカテゴリで現時点最大規模となる。
性能とコストの現状比較
独立系評価機関Artificial Analysisのベンチマークによると:
| モデル | インテリジェンススコア | タスクあたりコスト |
|---|---|---|
| Kimi K3 | 57 | $0.94 |
| Grok 4.5(1.5Tパラメータ) | 54 | $0.31 |
Grok 4.5は現行世代の内部コード名「V9」、1.5兆パラメータのモデルをベースとしている。スコアではKimi K3に3点差をつけられているが、コストは約1/3に抑えられている。
次世代Grok(2Tパラメータ)は、この性能差を詰めつつもコスト優位性を保つことを狙っている。一方、BBCの報道ではKimi K3が米国の主要モデルと競争できる水準にあり、特にウェブインターフェースエンジニアリング分野で優れているとされている。また、Business InsiderはKimi K3のAPI価格がOpenAIおよびAnthropicより安価であると伝えている。
xAIのスケーリング戦略:段階的な大規模化の全体像
2TモデルはxAIの段階的なスケールアップ計画の一部に過ぎない。現在、6兆および10兆パラメータ規模のモデル群(「Grok 5」として位置付けられる)が、xAIの超大規模スーパークラスター「Colossus 2」上でトレーニング中だ。今年4月時点で、Colossus 2では7モデルが並行トレーニングされていると報告されている。
LLM開発においてパラメータ規模の拡大(スケーリング)は依然として性能向上の主要な手段のひとつとされており、OpenAI・Google・Metaをはじめとする主要プレイヤーが兆パラメータ規模の競争を繰り広げている。xAIはColossus 2という自社インフラを武器に、この競争に独自の立場で参加している。
こうした巨大モデルのトレーニングを支えるColossus 2の存在は、xAIが単なるAPI提供企業にとどまらず、自前の計算基盤を持つ垂直統合型プレイヤーとして競争力を確保しようとしていることを示唆している。
なお、xAIは5月に開発者向けコーディングエージェント「Grok Build」を公開しており、7月13日時点でバージョン0.2.101に達している。ターミナルから動作し、並列サブエージェントと連携してタスクを処理する設計だ。現在はxAIの「SuperGrok Heavy」サービス(月額$300)の加入者向けにベータ提供中である。Grok Buildは、Colossus 2上の大規模モデル群を実際のユーザーワークフローに接続する応用レイヤーとして位置づけられており、スケーリング投資をプロダクトに転化する取り組みのひとつといえる。
詳細はMusk teases next-generation 2T Grok AI modelを参照していただきたい。