热线电话:13121318867

登录
2020-06-24 阅读量: 2463
为什么损失函数是MSE的时候,使用梯度下降法最好。

我们要求解函数的最优解,当不易求解时就选择反方向思路,构造一个损失函数,来求取损失函数的最小值。

损失函数可求导后为凸函数时,则可以直接等于0,求解最小值。

损失函数可求导后不是凸函数时,则需要使用梯度下降法,因此梯度下降法需要损失函数可求导。


image.png

为什么说损失函数MSE比SSE更加适合使用梯度下降法呢,

image.png

SSE则是没有除样本n,那么当样本量大的时候,梯度值算出的也比较大,步长就要尽量小。选择步长时就更加敏感。而我们选择MSE,在SSE的基础上对样本做一个平均就不会出现这个问题。


31.1784
2
关注作者
收藏
评论(0)

发表评论

暂无数据
推荐帖子