神经网络激活函数和损失函数-CDA数据分析师官网

神经网络激活函数和损失函数

2018-08-24

神经网络激活函数和损失函数

激活函数

1、sigmoid

sigmoid函数曲线如下:

sigmoid激活函数，符合实际，当输入值很小时，输出接近于0；当输入值很大时，输出值接近于1。

但sigmoid激活函数有较大的缺点，是主要有两点：

（1）容易引起梯度消失。当输入值很小或很大时，梯度趋向于0，相当于函数曲线左右两端函数导数趋向于0。

（2）非零中心化，会影响梯度下降的动态性。这个可以参考CS231n.

2、tanh

tanh函数曲线如下：

与sigmoid相比，输出至的范围变成了0中心化[-1, 1]。但梯度消失现象依然存在。

3、Relu

Relu修正线性单元是有许多优点，是目前神经网络中使用最多的激活函数。

函数曲线如下：

优点：（1）不会出现梯度消失，收敛速度快；

（2）前向计算量小，只需要计算max(0, x)，不像sigmoid中有指数计算；

（3）反向传播计算快，导数计算简单，无需指数、出发计算；

（4）有些神经元的值为0，使网络具有saprse性质，可减小过拟合。

缺点：（1）比较脆弱，在训练时容易“die”，反向传播中如果一个参数为0，后面的参数就会不更新。使用合适的学习率会减弱这种情况。

4、Leak Relu

Leak Relu是对Relu缺点的改进，当输入值小于0时，输出值为αx，其中α是一个很小的常数。这样在反向传播中就不容易出现“die”的情况。

损失函数

损失函数（loss function）也叫代价函数（cost function）。是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程（损失函数值小了，对应预测的结果和真实结果的值就越接近

1、二次代价函数

二次代价函数就是欧式距离的和，在线性回归中用的比较多，但在目前的神经网络中用的相对较少。

2、交叉熵代价函数

交叉熵（cross-entropy）代价函数来源于信息论中熵的概念。是目前神经网络分类问题中（比如图像分类）常用的代价函数。交叉熵代价函数对分类问题有一个很好的解释：当分类输出正确类的结果（输出层使用softmax函数之后的值）接近于1，即a=~1时，对应正确类的标签为1，即y=1。则可得到，C中第一项接近于0，第二项等于0。对于非正确类，a接近于0，y=0,则C中第一项为0，第二项接近于0。故最终C接近于0；当分类输出正确类的结果与1的差距越大，则上式C的值越大。

3、对数似然函数

对数似然函数与交叉熵代价函数类似，但只考了正确类损失，不考虑错误类的损失，用的也比较多。与交叉熵代价函数一样，对数似然也对分类有一个很好的解释：当正确类的输出值a（输出层只用softmax后的值）接近于1时，y=1，C接近于0；当输出值a距离a越大时，C值越大。

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

神经网络损失函数过拟合线性回归

数据分析咨询请扫描二维码

上一篇MIT 用 AI 实现自动抠图，轻松打造效果惊艳的特效电影

下一篇区块链触动的是钱、信任和权力，这些人类赖以生存的根本性基础

神经网络激活函数和损失函数

CDA考试动态

CDA报考指南

热门栏目

最新资讯

数据分析师的工作内容是什么

数据分析师必须掌握的技能有哪些

数据分析入门难吗

数据分析能干啥

数据分析行业的前景

数据分析的常用方法

什么是企业数字化转型

女生做数据分析师最好去哪个行业

大数据技术专业学什么

数据分析师教程《Python数据分析极简入门》第2节 3 ...

什么行业越老越吃香

利用python进行数据分析

大数据与会计专业主要学什么

成为数据分析师需要哪些技能

python可以做数据分析吗

数据分析师的日常工作有哪些？

数据分析五种方法

数字化转型是什么意思

未来发展前景好的十大行业

统计学就业方向及前景