7月28日、Techstrong.aiが「Diffusion Models Are Making the Case That LLMs Don't Have to Generate Text One Word at a Time」と題した記事を公開した。この記事では、拡散モデル（Diffusion Model）ベースの言語モデルが、従来のトークン逐次生成アーキテクチャに代わる選択肢として台頭しつつある状況について詳しく紹介されている。
LLMの「1トークンずつ生成する」という制約
ChatGPTをはじめとする現在の主要LLMは、ほぼ例外なく自己回帰（Autoregressive）デコーディングを採用している。モデルがトークンを1つ予測し、それをコンテキストに追加して次のトークンを予測する——GPT-3以来の定番手法だ。確立されたアプローチだが、本質的に逐次処理であり、各トークンは前のトークンの完了を待つ必要がある。
この「順番待ち」こそが、レイテンシのボトルネックになっている。
拡散モデルは「下書きを磨く」アプローチを取る
拡散モデルは画像生成ツール（Stable Diffusionなど）の手法を言語生成に転用したものだ。左から右へトークンを書き連ねるのではなく、まず応答全体の粗いドラフトを生成し、それを数回のパスで並列に洗練していく。
元記事では、Cornell大学の研究者らによるSTAR-LDMと呼ばれるアーキテクチャが言及されており、この仕組みを「特定の単語に確定する前に、意味レベルで計画フェーズを設ける」と表現している（※元記事内の帰属表現に基づく紹介であり、原著論文の直接参照ではない）。従来の自己回帰モデルが一度確定した選択を修正できないのと対照的に、拡散モデルは全体を俯瞰しながら推敲を重ねる「編集者」として機能する。
Celeris-1と先行するMercury——数字の読み方
Lightspeed Venture Partnersが支援する新興AIリサーチラボ・Celerisは、拡散アーキテクチャ上に構築した言語モデルCeleris-1を発表した。同社が主張する性能は以下のとおりだが、これらの数字は現時点で独立した第三者による検証を経ておらず、特にGPT-5との比較値は自社発表に基づくものである点に注意が必要だ。
- 中央値レスポンスレイテンシ：158ミリ秒
- **MMLU-Proスコア：75.9%**（MMLU-Proは多分野の推論・知識を問う難度の高いベンチマーク）
- GPT-5比で24倍高速（同社発表値・未検証）
先行事例として、StanfordスピンオフのInception Labsがある。同社は2024年から「Mercury」シリーズの商用拡散モデルを提供しており、最新版のMercury 2はBlackwell GPU上で毎秒1,000トークン以上を達成している。エージェント型ワークロード向けに訴求しており、「タイプライターではなく、全体のドラフトを一度に推敲するエディター」という表現を使っている。なお、Mercuryシリーズは商用利用実績のある拡散LLMとして先行しているが、査読付き論文での性能評価は引き続き進行中の段階にある。
品質は犠牲になるのか
速度を優先したアーキテクチャでは品質が落ちる——そう懸念するのは自然だが、学術研究の結果は「思ったより落ちない」を示唆している。
- Qualcomm AI Researchの研究（2024年発表、査読状況は元記事に明記なし）：拡散モデルは自己回帰モデルより層をまたいだグローバルな表現を構築しており、冗長性が高い。計算量の約19%をスキップしても、数学・コーディングベンチマークで90%以上の性能を維持できたと報告している。
- Dream 7B（Qwen2.5ベースの拡散モデル）：2025年初頭に発表され、一般言語タスクで自己回帰版と同等の性能を達成し、計画を要するシナリオでは特に強みを見せたと報告している。論文はプレプリント段階で、独立した再現検証はこれからの段階だ。
- コード生成の実証研究では、拡散モデルが自己回帰モデルの苦手なタスクを解けたケースも確認されている。
ただし、拡散モデルとトップクラスの自己回帰モデルを公平条件で比較した独立ベンチマークはまだ少ない。現状の有力な比較対象はLLaMAやQwenといったオープンモデルが中心であり、クローズドな商用最前線モデルとの比較は手薄だ。
レイテンシが本当に効いてくる場面——エージェントAI
速度の議論が最も刺さるのはエージェントAIのパイプラインだ。The Futurum GroupのMitch Ashley氏は率直に言い切る。
「レイテンシはエージェントパイプラインで複利的に積み上がる。3秒のモデル呼び出しを20回チェーンすれば1分の死んだ時間だ。どの運用チームもそれを本番には出さない。同じ20回が300ミリ秒なら、実際に使われるワークフローになる。」
音声AIの分野でも同様の議論がある。200ミリ秒以下のレスポンスタイムは、モデルがリアルタイム会話と同じ時間スケールで動作し始める境界とされている。
一方でAshley氏は警告も発している。「推論が速くなっても、エージェントが何をしてよいかの問題は解決しない。ただ『自動化は遅すぎる』という言い訳を消すだけだ。パイプライン設計がまだ変えやすい今のうちに、エージェントのステップごとにレイテンシ予算を設定しておくべきだ」と述べている。
整理すると
Celeris-1の数字が本番環境で再現されるかは別の問いとして、拡散アーキテクチャ自体の研究基盤は着実に広がっている。もはやInception Labsだけが主張するカテゴリではなくなった。エージェントパイプラインを設計するエンジニアにとって、各ミリ秒が積み重なる文脈では、ベンチマークが固まる前でも追跡する価値のある領域だ。
詳細はDiffusion Models Are Making the Case That LLMs Don't Have to Generate Text One Word at a Timeを参照していただきたい。
