生成モデルで語られる Kullback-Leibler を理解する

DRANK

はじめに 最近，VAE(Variational Autoencoder)やGAN(Generative Adversarial Networks)等のモデルを学んでいますが，これら生成モデルの話で必ず登場するのが Kullback-Leibler divergence という用語です．機械学習の用語において，「クロス・エントロピー」や「ドロップアウト」でしたら，英単語と物理，数学の知識でなんとなく想像がつきますが，「カルバック・ライブラー」という言葉を初めてみたと...