Karpathy氏の200行GPT「microGPT」を1行1行読み解く

BRANK

2026年2月にAndrej Karpathy（アンドレ・カーパシー）氏が公開した「microGPT」。話題になったときに触っていて、途中まで記事を書きかけにしていたの、すっかり忘れていたので今頃公開してみます。 -O python3 microgpt.py 以下のように学習がはじまり、最後に学習したモデルでの推論結果が出ます。num docs: 32033 vocab size: 27 num params: 4192 step 1 / 1000 loss 3.3660 step 2 / 1000 loss 3.4243 step 3 / 1000 loss 3.1778 step 4 / 1000 loss 3.0664 （略） step 998 / 1000 loss 2.4764 step 999 / 1000 loss 2.4730 step 1000 / 1000 loss 2.6497 --- inference (new, hallucinated names) --- sample 1: kamon sample 2: ann sample 3: karai sample 4: jaire sample 5: vialan sample 6: karia sample 7: yeran sample 8: anna sample 9: areli sample 10: kaina sample 11: konna sample 12: keylen sample 13: liole sample 14: alerin sample 15: earan sample 16: lenne sample 17: kana sample 18: lara sample 19: alela sample 20: anton どうも、人の名前を学習して、人らしい名前を生成するプログラムのよ…