过拟合的常用处理方式

809669515

2018-10-25 阅读量: 1610

过拟合的常用处理方式

1.增加训练数据数

过拟合是由于模型学习到了数据的一些噪声特征导致，增加训练数据的量能够减少噪声的影响，让模型更多地学习数据的一般特征。

利用现有数据进行扩充或许也是一个好办法。例如在图像识别中，如果没有足够的图片训练，可以把已有的图片进行旋转，拉伸，镜像，对称等，这样就可以把数据量扩大好几倍而不需要额外补充数据。一般有以下方法：

2.使用正则化约束

使用正则化缓解过拟合的手段广泛应用，不论是在线性回归还是在神经网络的梯度下降计算过程中，都应用到了正则化的方法。常用的正则化有l1l1正则和l2l2正则。

3.减少特征数

欠拟合需要增加特征数，那么过拟合自然就要减少特征数。去除那些非共性特征，可以提高模型的泛化能力。

4.调整参数和超参数

不论什么情况，调参是必须的。

5.降低模型的复杂度

6.迁移学习

当你的数据集比较小，训练的网络过拟合，泛化能力比较差，你也可以不用大的数据集再去训练，可以采用迁移学习，即fine-tuning一个既成的网络。对于小型的数据集训练，只需要freeze前面的网络参数，然后单独学习最后的全连接层。如果你有更多的数据，那么可以逐渐训练更多的最后几层的网络。

0.0000

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子