Home Blogs Readings Notes Jupyter Seafile

简单NN的反向传播推导

19 Mar 2018

Table of Content

===========

实际上这两个一个3层神经网络模型的前向和反向计算过程,另一个RNN的前向和反向传播过程。其中RNN的需要注意的是其 反向主要区别在于其累积了多个时间步骤上的梯度。

多层神经网络(Neural Network)的前向和反向推导

前向计算

在这选用交叉熵(cross entropy)作为损失函数.

反向推导

在NN中反向求偏导数的变量是针对L求各个神经元的权重。因此目标偏导数主要是:

具体求导过程如下:

Refs

-->
Fork me on GitHub