7月20日、MarkTechPostが「Best Local LLMs You Can Run on a Single 24GB GPU in 2026: Qwen, Gemma, Mistral, DeepSeek Compared」と題した記事を公開した。24GB VRAM 1枚のGPUで実用的に動かせるローカルLLMを2026年時点の最新モデルで比較・整理した内容だ。

「70Bの量子化を詰め込む」という古い戦略は終わった

RTX 3090 / RTX 4090 に代表される24GB GPUは、ローカル推論の現実的な「最低ライン」として広く普及している。かつてのホビイスト的なアプローチは、「とにかく最大サイズの70B量子化モデルを詰め込む」だった。しかし2026年の最適解は異なる。20B〜35Bクラスのモデルをきれいに収める戦略が主流だ。コンテキスト用のメモリを確保しつつ、コーディング・チャット・エージェント用途で十分な速度が得られる。

著者のMichal Sutterは、24GBのVRAMがどこに使われるかをまず整理している。消費先は3つだ。

1. モデルウェイト：パラメータ数と量子化精度に依存。Q4_K_Mでは1パラメータあたり約0.58バイト（元記事記載値。一般的な実測値は0.5〜0.55バイト程度とやや幅がある）。32Bモデルなら重みだけで18〜20GB。
2. KVキャッシュ：コンテキスト長が伸びるほど増大する。
3. 推論スタックのオーバーヘッド：短いコンテキストでも1〜2GBを見ておく。

特に注意が必要なのはMoE（Mixture-of-Experts）モデルだ。トークンごとに一部のエキスパートしか使わないが、全エキスパートのウェイトがVRAMに常駐する。そのため、「アクティブパラメータ数」ではなく「総パラメータ数」でメモリを計算しなければならない。この誤解は多い。

24GB GPUに収まる6モデル

以下のモデルはすべてApache 2.0またはMITライセンスで、Q4_K_MでVRAMに収まる。

Qwen3.6-27B — 最有力の万能候補

Alibabaが2026年4月にリリースしたQwen3.6-27Bは、このカードで動かす単一モデルとして最有力だ。エージェンティックなコーディング・リポジトリレベルの推論・フロントエンドワークフローを対象としており、Q4_K_Mで約16GB。コンテキスト用の余裕が十分に残る。Apache 2.0ライセンス。

Qwen3.6-35B-A3B — 速度優先なら

Qwen3.6-35B-A3Bは35B総パラメータのMoEで、トークンごとにアクティブなのは約3B。デコード速度は密なモデルより大幅に速い。ただしメモリは総パラメータ基準で約20GBとギリギリだ。一般的なチャットやツール呼び出しで速度が欲しい場合の選択肢。

Gemma 4 26B — 画像入力と多言語が必要なら

Google DeepMindが2026年4月2日にリリースしたGemma 4。140以上の言語をカバーし、ビジョン入力にも対応するMoE（26B総パラメータ、3.8Bアクティブ）。Gemmaファミリーとして初めてフルオープンライセンス（Apache 2.0）で提供された。

Mistral Small 3.2 24B — 軽量で使い勝手が良い

24Bの密なモデルで、Q4_K_Mで約14GBとこのリストで最も軽い。空いたヘッドルームをコンテキスト拡張に使える。日常的なアシスタント用途に適しており、命令追従の精度をSmall 3.1から改善している。Apache 2.0。

gpt-oss-20b — 構造化推論のフォールバック

OpenAIがApache 2.0でリリースしたオープンウェイト推論モデルgpt-oss-20b。21B総パラメータのMoEで、ネイティブのMXFP4 4bit形式で提供される。ロード時のメモリは約14GB。元記事では構造化推論やツール使用が得意な推論特化モデルとして紹介されており、広範な世界知識のカバレッジについては元記事の記述に基づいている。

DeepSeek-R1-Distill-Qwen-32B — 最もタイトな推論特化モデル

DeepSeek-R1-Distill-Qwen-32Bは、DeepSeekのR1推論トレースをQwen2.5ベースに蒸留した32Bの密なモデル。Q4_K_Mで18〜20GBとこのリストで最もタイトな構成だ。MITライセンス。思考プロセスをChain-of-Thoughtトークンとして可視化しながら推論するため、じっくり考えさせたい問題に向いている。GGUFビルドはbartowskiのHugging Faceから入手可能。

24GBには載らないモデル

2026年のフロンティアオープンモデルは大規模なMoEが多く、1枚のコンシューマGPUでは動かない。

これらはAPI経由で使う選択肢として把握しておく価値はある。しかし24GB 1枚の上では動かない。

実行環境の選択

記事では3つのランタイムを挙げている。用途によって選択肢が分かれる点が重要だ。

• **Ollama**：最も手軽。量子化の自動選択とOpenAI互換APIを備えており、まず試すならここから。
• **llama.cpp**：GGUFの量子化やGPUオフロード比率を細かく制御したい場合に選ぶ。ローレベルなチューニングが可能。
• **vLLM**：並列リクエストが多いヘビーな用途向けのスループット重視サーバー。個人用途よりチームやサービス運用を想定した選択肢。

詳細はBest Local LLMs You Can Run on a Single 24GB GPU in 2026: Qwen, Gemma, Mistral, DeepSeek Comparedを参照していただきたい。