
Affineレイヤの逆伝播を地道に成分計算する
DRANK
0. 背景 「ゼロから作る Deep Learning - Pythonで学ぶディープラーニングの理論と実装」を手にニューラルネットワークの勉強をしていたのですが、5章・誤差逆伝播のAffilneレイヤの逆伝播の式変形の理解に時間がかかったので、小さな次元で計算してみました。その過程を自分の備忘録的に記述します。 目標としては、低次元ながらも次の式が成分計算で求められることとします。($T$は転置行列を意味します) \begin{align} \frac{...