7月19日、Michal Sutterが「Someone Fine-Tuned OpenBMB's MiniCPM5-1B on Claude Fable 5 Traces to Ship a 657MB Local Thinking Model」と題した記事を公開した。657MBのモデルがThinkingモードで動く——そのインパクトが先行しがちだが、その実態は「フロンティアモデルの能力を小型モデルに移植した」のではなく、「出力スタイルを模倣させた」ものだ。コミュニティ開発者がClaude Fable 5の出力トレースでOpenBMBの1Bモデルをファインチューニングし、完全ローカルで動作する思考モデルを公開した経緯と、その限界について詳しく紹介する。
「蒸留」ではなく「模倣」——657MBモデルの正体
HuggingFaceユーザーのGnLOLotが、完全ローカル動作する1Bパラメータの思考モデルを公開した。モデル名はMiniCPM5-1B-Claude-Opus-Fable5-Thinking。llama.cpp互換のGGUF形式でも配布されており、APIキー不要、クラウド通信なしで動く。
このモデルを語る上で最も重要な点は、「蒸留」という言葉の使い方に注意が必要だということだ。
記事は、このモデルの構築手法を「古典的な蒸留(classical distillation)ではない」と明確に指摘している。古典的な蒸留はティーチャーモデルのロジットや重みから信号を転写する。しかしClaudeの重みやロジットには誰もアクセスできない。実際に行われたのは次のプロセスだ:
- Claudeにコンバセーションを大量に生成させ、その応答と推論トレースをテキストとして収集
- その出力を使って、小規模なベースモデルを教師あり学習(SFT)でファインチューニング
つまり、1Bモデルが学習するのはClaudeの応答フォーマットとスタイルであって、フロンティアモデルの推論能力や広範な知識ではない。記事はこの点を「1Bのパラメータ予算ではフロンティア規模の推論を保持できない」と率直に述べている。
なお、モデル名に含まれる「Claude Fable 5」について補足しておく。これはAnthropicが正式に公表したモデル名称ではなく、今回ファインチューニングに使用されたClaudeのバージョンをコミュニティが識別するために用いている呼称とみられる。Anthropicの公式製品ラインとの正確な対応関係は現時点で明らかになっていない。
ベースモデル:OpenBMBのMiniCPM5-1B
ベースとなるopenbmb/MiniCPM5-1Bは、OpenBMBが正式にリリースしたモデルだ。仕様は以下のとおりだ:
- パラメータ数:1.08B(密なDenseモデル)
- アーキテクチャ:
LlamaForCausalLM、24層、グループクエリアテンション - コンテキスト長:131,072トークン(128K)
このベースモデルはもともとネイティブの思考テンプレートを内蔵しており、enable_thinkingフラグでThinkモードとNo Thinkモードを切り替えられる。今回の派生モデルもこのテンプレートとMiniCPM5のツール呼び出しフォーマットをそのまま継承している。
なお、OpenBMBのベースモデル自体は、自社のティーチャー・スチューデント間でOn-Policy Distillation(ティーチャーモデルと同一の分布上でサンプリングした出力を使って学習する蒸留手法)を経ており、こちらは重みレベルでの正式な蒸留だ。今回のGnLOLotによるファインチューニングとは性質が異なる点に注意されたい。
サイズと量子化の選択肢
GGUF版は4種類の量子化で配布されている:
| 量子化 | サイズ | 備考 |
|---|---|---|
| Q4_K_M | 約657MB | 最小フットプリント |
| Q5_K_M | 約751MB | — |
| Q8_0 | 約1.1GB | メンテナー推奨デフォルト |
| F16 | 約2.1GB | — |
「657MB」という数字は最小量子化(Q4_K_M)のサイズであり、デフォルトビルドではない点に注意が必要だ。Ollama、llama.cpp、LM Studio、jan、KoboldCppで直接ロードできる。
実行方法
Ollamaを使う場合は1行で済む:
ollama run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M
Thinkモードの推奨サンプリングパラメータはtemperature=0.9、top_p=0.95だ。モデルは最終回答の前に推論ブロックを出力することがあり、下流アプリケーション側でストリップ(除去)できる。
現時点での限界と未解決の問題
記事は以下の点を明示している:
- ベンチマーク未公開:能力に関する主張は現時点で検証不可能
- 学習データセット未公開:Fable 5データの詳細は不明
- ライセンス問題:Apache-2.0はベース重みのみを対象とし、Claudeの出力で学習することのライセンス的妥当性はモデルカードで未解決のまま放置されている
最後のライセンス問題は、Anthropicの利用規約との兼ね合いで、コミュニティでしばしば議論になるトピックだ。この点については記事も明言を避けており、利用者自身が判断する必要がある。
詳細はSomeone Fine-Tuned OpenBMB's MiniCPM5-1B on Claude Fable 5 Traces to Ship a 657MB Local Thinking Modelを参照していただきたい。