8月9日、The Decoderが「Google's DiffusionGemma proves you don't need to train from scratch to build a text diffusion model」と題した記事を公開した。テキスト拡散モデルへの関心が高まる中、GoogleがGemma 4をベースにゼロから再学習せずにテキスト拡散モデル「DiffusionGemma」を構築したという報告は、この分野への参入コストに関する従来の常識を揺るがすものだ。自己回帰モデルの支配的な地位が続く中で、既存の大規模モデルを低コストで拡散モデルへ転換できるとすれば、アーキテクチャ選択の議論は新たな段階に入る可能性がある。

既存モデルを転用——訓練コストは元の10%未満

LLMの主流アーキテクチャは「自己回帰（autoregressive）モデル」だ。トークンを左から右へ順番に生成する方式で、GPTやGemmaもこの方式を採用している。一方、「テキスト拡散モデル」はノイズを段階的に除去しながらテキスト全体を並行して生成するアプローチで、画像生成のStable Diffusionに近い発想をテキストに応用したものだ。

Google DeepMindの論文によると、DiffusionGemmaはベースとなる**Gemma-4-26B-A4Bからのファインチューニングで構築されており、使用したトークン数は元の事前学習予算の10%未満**だという。ゼロから拡散モデルを構築するのではなく、既存の大規模モデルを転用した点が技術的な核心だ。

DiffusionGemmaはGemma 4や既存の拡散モデルと比べて大幅に高いトークン生成速度を示しつつ、精度は同水準を維持している。| 画像: Google

2段階の訓練パイプライン

変換には2つのステップが使われた。

Gemma 4から事前学習をスキップし、2段階で拡散モデルへ転換するパイプライン。| 画像: Google

第1ステップはSFT（教師あり微調整）だ。ノイズが加えられたテキストブロックを元に戻す方法をモデルに学習させる段階で、自己回帰モデルが持つ言語知識を拡散モデルの動作様式に橋渡しする役割を果たす。

第2ステップはGoogleが「SD·RL」と呼ぶ手法で、正式にはSampler Distillation（サンプラー蒸留）とReinforcement Learning（強化学習）を1つのプロセスに統合したものだ。強化学習（RL）で回答品質を引き上げながら、サンプラー蒸留（Sampler Distillation）で推論に必要な計算ステップ数を削減するという、品質と効率を同時に狙う構成になっている。

この2段階の組み合わせにより、推論ベンチマークのスコアが平均10ポイント向上し、1計算ステップあたりのトークン数が約4倍になったとしている。副次効果として出力の長さが約50%短くなり、これがさらなる速度向上に寄与している。

自己回帰との本質的な違い——「後から直せる」

DiffusionGemmaが面白い理由の一つは、テキスト全体を並行して生成するため、途中で答えを修正できる点だ。

通常の自己回帰モデルは最初のトークンを確定してから次のトークンを生成するため、「後から気づいて訂正する」という構造になりやすい。論文中の数学問題の例では、Gemma 4が「-1」と出力した後、導出の過程で「-25」が正しいと気づき、訂正を付け足している。DiffusionGemmaは回答と推論を並行して展開するため、出力が確定する前に誤りを修正できる。

デノイジングの各ステップで、最初に誤った数値「1」が「15」→「25」へと修正されていく様子。| 画像: Google

この特性は数独（Sudoku）解法でも顕著だ。数独は各マスが後続のマスに依存するため、自己回帰的に解くのは難しい。最小限の微調整後、DiffusionGemmaは約85%のパズルを正解した一方、ベースモデルはほぼ解けなかったという。JSONやコード修正といった構造化出力は入力が大半のトークンを決定するため、2〜3ステップで完了するとしている。

なお、DiffusionGemmaは自己回帰モードも保持しており、タスクに応じて両モードを切り替えられる。

速度は出るが、制約もある

品質ベンチマークでは自己回帰版Gemma 4に劣るが、出力速度は約1,500トークン/秒でリードしている。| 画像: Google

出力速度は約1,500トークン/秒と既存の拡散モデルや自己回帰型Gemma 4を大きく上回る。ただし、品質面では自己回帰ベースモデルには届いていない。Googleはその理由として以下を挙げている。

• 拡散モデルとしてゼロから設計されたわけではなく、後付けで転換した
• 後続の訓練フェーズが比較的短かった
• SD·RL（Sampler Distillation + Reinforcement Learning）が速度を優先したため、ピーク品質が犠牲になった
• アーキテクチャや訓練データはGemma 4から引き継いでおり、拡散モデルに最適化されていない

挙動上の問題として、計算ステップを積極的に削減した副作用で単語の繰り返しループが発生することがある。マルチモーダルタスクでは推論セクションの終了タグを適切に閉じないケースもあり、ベンチマークスコアが実際より低く出ることがある。

速度面の優位性については、同時リクエストが約32を超えると通常の言語モデルとスループットが並ぶという制約もある。シングルユーザーのシナリオで恩恵が大きく、多数の並列リクエストをさばくサービス用途では差が縮まる。

すでに実用利用も始まっている

Googleはこのモデルを実験的と位置づけつつ、**Apache 2.0ライセンスでHugging Faceに公開**している。スタートアップのInterfazeが多言語音声認識に、別の研究プロジェクトでは放射線レポートの対話的生成に活用しているという（※元記事記載の活用事例として紹介されているが、各プロジェクトの詳細は元記事および各社の公式情報を参照されたい）。前身にあたるGemini Diffusionは2025年5月にデモが公開されていた。

テキスト拡散モデルは長らく「自己回帰モデルには品質で敵わない」という評価が続いてきたが、既存の大規模モデルからの転換というアプローチは、訓練コストの面でこの分野への参入障壁を下げる可能性がある。

詳細はGoogle's DiffusionGemma proves you don't need to train from scratch to build a text diffusion modelを参照していただきたい。