9月4日、How-To Geekが「4 more excellent local LLM projects you can run for free on a slow laptop」と題した記事を公開した。この記事では、8GBのRAMしか積んでいない古いノートPCでも無料で動かせるローカルLLMプロジェクト4選について詳しく紹介されている。
クラウドにデータを送らずAIを使いたい、という需要は根強い。銀行の明細、医療記録、NDA対象のコードを外部サービスに投げることへの抵抗感は当然だ。ローカルLLMはその解だが、「高性能GPUが必要」というイメージが先行しがちである。この記事はその前提を崩す。最低8GB RAM（5年前のノートPCでも十分）があれば動く、という話だ。
まず試すなら：Jan（入門向け汎用チャット）
元記事で最初に推奨されているのが Jan だ。モデルのダウンロード、推論エンジン、チャットUIを一体化したオープンソースのデスクトップアプリで、ターミナル操作なしで使い始められる点が最大の強みである。
Janは内部的にllama.cppをベースとした推論エンジンを採用しており、WindowsではDirectML経由でGPUアクセラレーションにも対応する。モデルはアプリ内のライブラリから直接ダウンロードできるため、HuggingFaceのGGUFファイルを手動で管理する必要がない。「まずローカルLLMを体験したい」という入門ユーザーに向けた設計になっている。ただし、llama.cppを直接操作するような細かいカスタマイズや、サーバーAPIとしての高度な利用には不向きな面もある。
一番の注目株：Cherry Studio（機密ドキュメントのRAG処理に）
4つのプロジェクトの中で最も実用的なユースケースを持つのが Cherry Studio だ。元記事での紹介順はJanに次ぐ2番目だが、本稿では機能の独自性から特に注目すべきプロジェクトとして取り上げる。
Cherry Studioは、Ollamaをバックエンドとして動作するオープンソースのデスクトップアプリである。最大の特徴はRAG（Retrieval-Augmented Generation）の組み込みサポートだ。PDF、ドキュメント、スプレッドシートをローカルに読み込み、クラウドに一切データを送らずにAIと対話できる。
銀行明細や確定申告書をChatGPTにアップロードすることへの懸念を持つユーザーに刺さる設計である。
ただし、記事では一点注意が明記されている。
RAGが完全にプライベートになるのは、ローカルモデルを使った場合のみ。クラウドのエンベディングサービスを使うと、ドキュメントはPCの外に出る。
4億〜120億パラメータの小型モデルであればCPUだけでも動作し、GPUがあればさらに高速化できる。MCPにも対応しており、外部ツールとの連携も可能だ。
VSCodeにプライベートなコード補完を追加：Continue
NDA下で作業するプログラマー向けには Continue が紹介されている。VS Codeの拡張機能として動作し、ローカルのAIサーバーにつないでインライン補完とサイドパネルでのコードチャットを実現する。
記事のポイントは現実的な使い分けだ。
- タブ補完には最小モデル（1.5B〜4Bパラメータ）を使う
- チャットパネルには少し大きなモデルを使う
これがパフォーマンスと実用性のバランスを取る最善策だという。旧型ノートPCのCPUでは補完のレイテンシがクラウドサービスより大きいのは避けられないが、正規表現の生成や単純なコード行の補完程度であれば、大規模フロンティアモデルは必要ない、と記事は指摘している。
ContinueはバックエンドとしてOllamaやLM Studioなど複数のローカルサーバーに対応しており、公式ドキュメントにモデルごとの設定例も整備されている。GitHub CopilotやCursorのようなクラウド型コード補完ツールの代替として、プライバシー重視の開発環境を構築したい場合の有力な選択肢だ。
完全オフラインの音声文字起こし：Whisper.cpp
Whisper.cpp は、OpenAIのWhisperモデルをCPU向けに最適化した音声文字起こしツールだ。ggmlライブラリをベースとした軽量実装で、AVX命令セットやApple Siliconの統合メモリを活用した最適化が施されている。
ある程度のCPU性能があればリアルタイムに近い文字起こしが可能で、低スペックでもバッチ処理には十分使える。Raspberry Pi 4/5でも動作するとされており、完全プライベートなDIYホーム音声アシスタントとしても活用できる。SmallまたはBaseサイズのモデルであれば8GB RAMで問題なく動作する。
対応言語は日本語を含む多言語に及び、会議録音の文字起こしや動画キャプション生成といった用途でも実績がある。なお、ファイル形式によっては事前にFFmpegでの変換が必要になる場合がある。
まとめ
| プロジェクト | 用途 | 特徴 |
|---|---|---|
| Jan | 汎用チャット | ターミナル不要、入門向け |
| Cherry Studio | 機密ドキュメントのRAG | Ollama連携、MCP対応 |
| Continue | VSCodeのコード補完 | 1.5B〜4Bモデルで実用的 |
| Whisper.cpp | 音声文字起こし | CPU最適化、Pi対応 |
記事は「リアルタイム処理を求めない用途に絞れば、古いノートPCでも十分に使える」と結論づけている。プライバシーとコストの両面で、クラウドサービスに依存しない選択肢として機能する。
詳細は4 more excellent local LLM projects you can run for free on a slow laptopを参照していただきたい。
