ゼロから作るDeepLearning 第五章「逆伝播」前半

画像

誤差逆伝播法

これまでの通常の数値微分を毎回やると計算量が著しくひどい。

よって、誤差逆伝播法という物を使う。

これは簡単に言うと、フォワードプロパゲーションとは逆方向に微分値を流していくというものである。

逆方向に流す際は

加算ならそのまま後ろに渡し、乗算なら反対方向の値を書けて後ろに渡す。
これは、計算上こうやると計算量的に美味しいというだけであり

これらによって、計算した微分値は
各エッジの値を1だけ増やした時、フォワードプロパゲーションの最終出力値$Z$がどれぐらい増減するか?という微分値を簡単に求めるための計算である。

これが成り立つ理由は、チェインルールが成り立つからである
(数学の教科書参照)

感想

久しぶりに読んだらすらっと頭に入ってきた、うれしいね