热线电话：13121318867

登录
首页精彩阅读对反向传播算法（Back-Propagation）的推导与一点理解
对反向传播算法（Back-Propagation）的推导与一点理解
2018-08-27
收藏

对反向传播算法（Back-Propagation）的推导与一点理解

本文在推导过程中忽略了偏置的存在，这样做是为了更简单明晰的阐述BP算法的操作过程，并不是说偏置不重要，希望不会引起误会。

我们知道，神经网络大多采取正向传播预测，反向传播误差的结构。反向传播算法是运用在神经网络中进行网络权重等最优值计算算法，其核心就是梯度下降 + 链式法则求偏导，下面就对反向传播算法进行一下简单的推导：

在下面的推导过程中，表示连接前一层神经元 和后一层神经元 的权值。

对于输出层神经元 ，它的输入 按下式进行计算(忽略偏置):

可以看到它的输入等于前一层所有神经元的输出和对应连接的加权和, 如上图，而的输出按下式计算:

对于有监督训练, 期望输出即样本类标签d和实际输出y都是已知的, 可以定义误差或者loss function为:

        前期的准备工作已经完成了，下面开始正式的推导过程：
     


这样，我们就可以根据最后求出的误差来对权重进行更新，这种误差反向传递的方式就是反向传播算法的精髓所在。

处理完输出层神经元，我们再来看一下输出层之前的一层神经元的权值更新，我们定义表示连接前一层神经元和后一层神经元的权值。

相信大家已经看出误差反向传导的内涵了，每一层所产生的误差会逐渐向之前的层次传播，而各层的权重根据梯度下降算法不断地优化。总之，反向传播算法的核心就是梯度下降 + 链式法则求偏导，虽然看起来很繁琐并且计算复杂度有点高，但是实际上BP算法的精确性和易用性是很难被其他算法替代的，这也是现在比如CNN等很火的深度学习算法普遍采用BP算法的原因。



CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

神经网络 有监督 深度学习

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇人工神经网络—【BP】反向传播算法证明
下一篇大数据对企业开展网络营销有多重要
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询