11月16日、How-To Geekが「I just replaced Duolingo with a local LLM that took two minutes to set up on my Android phone」と題した記事を公開した。数年前のAndroidスマートフォンにローカルLLMを2分でセットアップし、Duolingoの代わりに語学学習ツールとして活用する——その具体的な手順と実用上の限界が、実体験をもとに詳しく報告されている。
ポイントは「古いスマホでも動く」こと
ローカルLLMをスマートフォンで動かすと聞くと、ハイエンド機が必要だと思いがちだ。だが筆者が使ったのはSamsung Galaxy S21(RAM 8GB)という数年前のモデル。Wi-Fi不要、月額課金なし、会話データはデバイス外に出ないオフライン動作——そのような条件でヘブライ語の練習環境を構築した。
技術的に可能なのは、**llama.cpp**という軽量推論エンジンのおかげだ。llama.cppはC++で実装されたLLM推論ランタイムで、GPU非搭載の環境でも動作する。8GB程度のRAMしか持たないスマートフォンでも現実的に動かせる点が、今回のセットアップを成立させている大きな要因だ。
※編集部の考察:llama.cppがモバイル環境で省メモリを実現できる背景には、mmapを用いたメモリマップ方式でモデルファイルの必要部分だけをRAMに載せる仕組みがある。ただし、この詳細は元記事に明記されていないため、あくまで参考情報として付記する。
セットアップ手順:アプリ+モデルのダウンロードだけ
筆者が選んだアプリは**PocketPal AI**。無料・オープンソースで、root不要、ストレージ権限だけで動く。同様のアプリとしてChatterUIやSmolChatも候補に挙がったが、PocketPal AIを選んだ。
手順はシンプルだ:
- Wi-Fiに接続する(モデルファイルは数GB)
- PocketPal AIを開き、モデル一覧からGemma 2 2B(Q4_K_M量子化版)をダウンロード
- モデルをロードし、設定でコンテキスト長を2048トークンに下げる(Androidにプロセスを強制終了されないための対策)
- バックグラウンドアプリをすべて閉じてRAMを確保
- 「Pals」メニューから新しいキャラクターを作成し、システムプロンプトを設定する
Q4_K_Mは4ビット量子化のモデル形式(GGUF)で、精度を若干落とす代わりにファイルサイズとメモリ使用量を大幅に削減したもの。Gemma 2 2BはGoogleが公開している20億パラメータのモデルで、スマートフォン向けに扱いやすいサイズだ。
「語学教師」キャラクターの作り方
PocketPal AIの「Pals」機能では、システムプロンプトを持つカスタムキャラクターを作成できる。筆者が設定したプロンプトは以下のとおりだ(別のAIの補助を借りて作成したと明記されている):
You are a friendly Hebrew tutor. Have a natural conversation with me in Hebrew. Write every Hebrew sentence in Hebrew letters, then put the English transliteration in parentheses, then the English translation in parentheses. Keep every reply under three sentences and use simple, everyday vocabulary. Whenever I make a mistake, correct it gently and explain why in one short English sentence. Ask me one follow-up question every time. My level is beginner. If I write in English, answer in Hebrew and gently encourage me to try again in Hebrew.
学習する言語とレベルをプロンプトに明記するのがポイントだ。なお、筆者は最初にプロンプトを誤って「description」欄に入力してしまい、教師が指示に従わない原因になったと述べている。プロンプトの入力欄を間違えないよう注意が必要だ。
実用上の限界も正直に書かれている
いくつか制約もある。
発熱とスロットリング:推論は処理負荷が高く、数分の会話でスマートフォンが温まり始める。Androidは熱対策としてCPUをスロットリングするため、最初は速く動いても徐々に遅くなる。筆者は「Duolingoのレッスンと同じく、短時間で切り上げる」スタイルを推奨している。
コンテキスト枯渇:会話が長くなるとモデルが古いやり取りを切り捨てる。以前の訂正を忘れたり、同じことを繰り返したりするようになる。筆者は毎日新しいチャットセッションを開始することで対処している。
低リソース言語の精度問題:ヘブライ語はまだ良い方で、スワヒリ語・アムハラ語・ウェールズ語・アイルランド語などの言語はトレーニングデータが少ないため、文法説明の誤りが増える可能性がある。
Duolingoとの比較
筆者の結論は「自分にはDuolingoより好みだが、人によりけり」。Duolingoのヘブライ語コースの質に不満があること、そして会話形式の練習の方が実践的だという判断からだ。一方で、Duolingoの方が一部言語では構造化されていて優れているとも認めている。
無料アプリ1本とモデルのダウンロード1回で始められる。元記事のタイトルが示すとおりセットアップ自体は2分で完了するため、気軽に試して合わなければやめればいい——というのが筆者のスタンスだ。
詳細はI just replaced Duolingo with a local LLM that took two minutes to set up on my Android phoneを参照していただきたい。