GPUが無い環境でローカルLLMを動かす方法

BRANK

はじめにこんにちは！ハッカソンでGPUがないノートパソコンで、ローカルLLMを動かすことに苦戦したアヤノです。たまにGPUがない環境でローカルLLMを使わざるを得なくなるため、その方法をまとめました。本来ならローカルでOllamaを動かす方が良いのですが、今回はどの環境でも確実かつ簡単に動かすためにDockerの上でOllamaを動かす方法を紹介します。Dockerを使うことでハッカソンのためだけに環境を汚さず、誰のパソコンでも動くシステム構成に繋がります。本記事は「Dockerを触ったことがあり、GPUなし環境でLLMを動かしたい人」向けです。TL;DLGPUなしでも、Ollama + DockerでローカルLLMは実用レベルまで高速化できる高速化のポイントは以下の4つリソース解放: Docker Desktopのメモリ・CPU割り当てを最大にする。モデル選定: 「パラメータ数」と「量子化サイズ」を考慮したモデル選定をする。最適化: compose.yaml でメモリのスワップを防止し、パフォーマンスを安定させる。UX改善: ストリーミングモードを活用し、1文字目が出るまでの待ち時間を削る。GPUが無い環境でローカルLLMを動かす「Ollama」とは？Ollamaとは、様々なLLMをWindows、Mac、Linuxのローカル環境…