2019-01-23
阅读量:
2722
什么时候比较适合用岭回归？
岭回归是加了二阶正则项的最小二乘，主要适用于过拟合严重或各变量之间存在多重共线性的时候，岭回归是有bias的，这里的bias是为了让variance更小。
岭回归的回归参数有先验分布，而最小二乘对参数没有限制。对参数进行先验分布限制，会使得得到的回归参数取值不会很病态。
因为最小二乘法会出现不稳定的情况，这种情况下会有过拟合，所以需要通过一个shrinkage即缩减解决过拟合问题。
如果最小二乘法的问题表示为某最优化问题：
等式右边可以看做残差之和的内积表达形式，其正则化版本为
这就是所谓的岭回归（L2正则化），相比于使用L1正则化的Lasso回归，它计算量较大（缺乏稀疏解），但对正则化参数lamda不是特别敏感。
岭回归是一种非常通用的增强矩阵求逆数值稳定性的技巧
0.0000
0
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2023-10-12
0条评论
anqiyqi
2023-10-08
0条评论
CDA持证人阿涛哥
2023-09-14
0条评论