DeepSeekがやっていると噂の蒸留というやつを、ローカルLLMで今すぐやってみる 前編

ARANK

前提この記事では、「Symbolic Knowledge Distillation: from General Language Models to Commonsense Models」という論文で提案されている 記号知識蒸留 を、ローカルLLMで日本語で実験する。 (Knowledge Distillation) とは、大きなモデル (教師) から小さなモデル (生徒) に知識を転送する手法である具体的には、LLMの蒸留と言えば、大きなモデルが出力する確率分布（ソフトターゲット）を利用して、小さいモデルを学習させる手法が用いられていたしかし、本論文では、「象徴的」な知識蒸留として、単に数値的な蒸留ではなく、 テキスト (symbolic knowledge) の形で知識を抽出し転送すること を提案している必要な知識と開発環境ollamaとPythonとLangChainをセットアップする知識があることphi4:14b が快適に動くGPU (VRAM 12GB程度)ゴールLLMにプロンプトを与えて、大量の常識知識を自動生成するその常識知識を、小型のLLMに、継続事前学習によって伝える実装ステップ記号知識蒸留 の実装ステップは以下に分けることができる：イベント生成イベントに対する因果関係推論生成Critic モデルを用いた生成結果のフィルタリングフィルタリング結果を用いた小型モデルの継続…