作りながら学ぶLLM入門

ARANK

概要この記事の対象者：LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かしてみたいエンジニアや研究者。この記事の内容：Raschka著『作りながら学ぶLLM入門』第2章をベースに、トークン化からサブワード分割、特殊トークン付与、データローダー作成、埋め込みまでの前処理工程をPythonコード付きで解説。この記事を読んでできること：前処理の各ステップを自力で実装し、英語・日本語を問わずLLMの学習データを準備するパイプラインを構築できる。序説(長いので、お急ぎの方はスキップしてください)MCP、AIエージェント等盛り上がりを見せてますが、そもそもLLMってなんで動いているんでしょうか？？Transformerっていうのが内部にあって、確率的分布に従って、RLHFで人間のフィードバックで学習させてetc、、、理論的な説明はよく見かけます。ですが、どこか抽象的で、結局のところ具体的に何をしているのかがイメージしづらいですよね。そこで、作ってみればブラックボックスだと思っていたものが少しずつ「見える化」されてくるのではと思ってます。あと、自分で作ったLLMを動かしてみたくないですか？？めちゃ強いLLMを作りたいとかではなく…