1-bit LLM「Bonsai」活用ガイド

BRANK

はじめに2026年3月31日、Caltech 発のスタートアップ PrismML が 1-bit LLM ファミリー Bonsai を発表しました。8B クラスのモデルがわずか 1.15GB、必要メモリ約 1.5GB で動作し、GPU なしの普通の PC でも実用的な速度で推論できるとして大きな話題になっています。Bonsai の注目ポイントは次の3つです。真の 1-bit モデル — 量子化ではなく、最初から 1-bit（+1 / -1 のみ）で学習圧倒的な省フットプリント — 8B モデルで 1.15GB。同クラスの 16-bit モデルの約 1/14Apache 2.0 ライセンス — 商用利用も含め制限なしこの記事では、Bonsai の概要とセットアップ手順を押さえたうえで、ローカルチャット・OpenAI 互換 API でのアプリ組み込み・ツール呼び出し・コーディングエージェント連携といった活用法を、現時点での「向き・不向き」も含めてまとめます。Bonsai の概要「真の 1-bit」とは何が新しいのか従来の軽量化は、16-bit や 32-bit で学習したモデルの重みを後から 4-bit などに丸める**学習後量子化（Post-Training Quantization）**が主流でした。これに対して Bonsai は、埋め込み層・アテンション層・MLP 層・LM ヘッドまでネットワーク全体を 1-bit の…