使用R对共线性检验
高维数据常会出现共线性 、变量选择等问题 。如何消除共线性确定最佳模型,是回归分析的一个重点。 传统的最小二乘估计在处理多重共线性问题上 往往有令人不太满意的地方, 主要有两点: 一是 预测准确性,二是模型可解释性。 目前处理严重共线性的常用方法有以下几种: 主成分回归、逐步回归、岭回归等, 这些方法有各自的优缺点 多重共线性的Lasso 方法兼有子集选择和岭估计的优点,同时进行变 量选择与未知参数估计。选择最佳模型的标准有 Cp、AIC、BIC准则,它们也有各自的适用范围。(Mallows Cp 统计量用来作为逐步回归的判停规则,对于一个好的模型,它的Cp统计量非常接近于模型的参数数目)
Robert
Tibshirani (就是R中MASS以及 The Elements of Statistical Learning的作者之一)于 1996
年提出了一种新的变 量选择技术Lasso,即 Least Absolute Shrinkage and Selection Operator
就是翻译过来颇显别扭的套索回归, lasso方法用模型系数的绝对值 函数作为惩罚来压缩模型系数,使一些回归系数变
小,甚至使一些绝对值较小的系数直接变为0 。
本文先从普通回归说起:
R语句如下
[plain] view plain copy
library(car)
D=read.csv("/Users/Documents/train_test_model/ridgereg1.csv",sep=",") # 加载数据
a=lm(y~., data=D);summary(a) # 定义模型,summary为输出汇总
vif(a) # 输出模型汇总
得到一下拟合检验参数
[plain] view plain copy
Call:
lm(formula = y ~ ., data = D)
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 11.011694 1.718393 6.408 4.94e-06 ***
long 1.692736 0.369589 4.580 0.000232 ***
touwei -2.158831 0.535513 -4.031 0.000783 ***
weight 0.007472 0.001144 6.531 3.87e-06 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1.163 on 18 degrees of freedom
Multiple R-squared: 0.9754, Adjusted R-squared: 0.9713
F-statistic: 238.1 on 3 and 18 DF, p-value: 1.14e-14
long
200.013181140721
touwei
209.429825510575
weight
9.68788132590006
通过vif方差膨胀因子可以知道上面三个变量存在严重的共线性,有书中规定超过10就算存在严重共线性同时分析回归系数,婴儿的头围越大,年龄应该越大才对,不应该是负向预测关系,从这里也可以看出一些端倪以上是我们依据数据诊断出多元回归中自变量存在严重共线性,当然在spss中也是可以直接选择,杜宾-瓦特森检验,也是统计分析中常用的一种检验序列一阶自相关最常用的方法。所以不能直接使用常规ols方法。于是请看下面的解决办法。#我们进一步的对检测回归分析的另一个前提--即方差齐性
[plain] view plain copy
library(MASS)
install.packages("gvlma") #导入gvlma包
library(gvlma)
gvmodel <- gvlma(a)
summary(gvmodel)
得到如下参数
[plain] view plain copy
Call:
lm(formula = y ~ ., data = D)
Residuals:
Min 1Q Median 3Q Max
-1.87262 -0.69499 -0.09376 0.74618 2.80676
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 11.011694 1.718393 6.408 4.94e-06 ***
long 1.692736 0.369589 4.580 0.000232 ***
touwei -2.158831 0.535513 -4.031 0.000783 ***
weight 0.007472 0.001144 6.531 3.87e-06 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Call:
gvlma(x = a)
Value p-value Decision
Global Stat 6.6421 0.15605 Assumptions acceptable.
Skewness 0.7794 0.37733 Assumptions acceptable.
Kurtosis 0.1147 0.73484 Assumptions acceptable.
Link Function 1.7108 0.19088 Assumptions acceptable.
Heteroscedasticity 4.0372 0.04451 Assumptions NOT satisfied!
可以得出,异方差性违反,也违反了普通最小二乘建模的前提。如果还是不死心,我们来看看残差分析吧。
#建模试试,看是否存在异常
[plain] view plain copy
lm.sol<-lm(y~.,data=D)
summary(lm.sol)
#可视化,残差与预测散点图
plot(fitted(lm.sol), resid(lm.sol),
cex=1.2, pch=21, col="red", bg="orange"
xlab="Fitted Value", ylab="Residuals")
当描绘的点围绕残差等于0的直线上下随机散布,说明回归直线对原观测值的拟合情况良好。否则,说明回归直线对原观测值的拟合不理想。
在标准化残差图中,大约有95.45%的残差在-2到+2之间 同时,也可以识别异常点,标准化残差小于-3或者大于+3时,就可以判断为异常值。
那么最后大概是可以相信这个模型用最小二乘法是并不合适。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17