R语言对回归模型进行回归诊断
在R语言中,对数据进行回归建模是一件很简单的事情,一个lm()函数就可以对数据进行建模了,但是建模了之后大部分人很可能忽略了一件事情就是,对回归模型进行诊断,判断这个模型到低是否模型的假定;如果不符合假定,模型得到的结果和现实中会有巨大的差距,甚至一些参数的检验因此失效。
因为在对回归模型建模的时候我们使用了最小二乘法对模型参数的估计,什么是最小二乘法,通俗易懂的来说就是使得估计的因变量和样本的离差最小,说白了就是估计出来的值误差最小;但是在使用最小二乘法的前提是有几个假设的。
这里我就引用《R语言实战》的内容了,在我大学中的《计量经济学》这本书讲的更为详细,不过这里主要是介绍使用R语言对模型进行回归诊断,所以我们就不说太详细了;
假定
正态性:对于固定的自变量值,因变量值成正态分布,也就是说因变量的是服从正态分布的
独立性:Yi值之间相互独立,也就是说Yi之间不存在自相关
线性:因变量和自变量是线性相关的,如果是非线性相关的话就不可以了
同方差:因变量的方法不随着自变量的水平还不同而变化,也可称之为同方差
为了方便大家使用和对照,这里就使用书上的例子给大家介绍了,在系统自带的安装包中women数据集,我们就想通过身高来预测一下体重;在做回归诊断之前我们得先建模;
首先我们先看一下数据是长什么样子的,因为我们不能盲目的拿到数据后建模,一般稍微规范的点流程是先观察数据的分布情况,判断线性相关系数,然后在考虑是否建立回归模型,然后在进行回归诊断;
R代码如下:
data('women')
women
结果如下
初步观察数据大概告诉我们体重就是跟随着身高增长而增长的,再通过画一下散点图观察。
R代码如下
plot(women)
然后我们在判断一下各个变量之间的线性相关系数,然后再考虑要不要建模
R代码如下
cor(women)
结果如下
从相关系数的结果上看,身高和体重的相关程度高达0.9954,可以认为是完全有关系的。
根据以上的判断我们认为可以建立模型去预测了,这时候我们使用LM()函数去建模,并通过summary函数去得到完整的结果。
R代码如下
model <- lm(weight~height,data=women)
summary(model)
出现这个问号原因是由于电脑字符集问题;稍微解读一下这个结果,RESIDUALS是残差的五分位数,不知道五分位的可以百度一下,这里不多说,下面的结果height的回归系数是3.45,标准差是0.09114,T值为37.85,P值为1.09e-14,并显著通过假设检验,残差的标准差为1.525,可决系数为0.991,认为自变量可以解释总体方差的99.1%,调整后的可决系数为0.9903,这是剔除掉自变量的个数后的可决系数,这个比较有可比性,一般我都看这个调整后的可决系数。结果就解读那么多,因此得到的结果就是
上面只是借用了一个小小例子来讲解了一下R语言做回归模型的过程,接下来我们将一下如何进行回归诊断,还是原来的那个模型,因为使用LM函数中会有一些对结果评价的内容,因此我们用PLOT函数将画出来;
R代码如下
par(mfrow=c(2,2))
plot(model)
结果如下
左上:代表的残差值和拟合值的拟合图,如果模型的因变量和自变量是线性相关的话,残差值和拟合值是没有任何关系的,他们的分布应该是也是在0左右随机分布,但是从结果上看,是一个曲线关系,这就有可能需要我们家一项非线性项进去了
右上:代表正态QQ图,说白了就是标准化后的残差分布图,如果满足正态假定,那么点应该都在45度的直线上,若不是就违反了正态性假
左下:位置尺度图,主要是检验是否同方差的假设,如果是同方差,周围的点应该随机分布
右下:主要是影响点的分析,叫残差与杠杆图,鉴别离群值和高杠杆值和强影响点,说白了就是对模型影响大的点
根据左上的图分布我们可以知道加个非线性项,R语言实战里面是加二次项,这里我取对数,主要是体现理解
R代码如下
model1 <- lm(weight~height+log(height),data=women)
plot(model1)
summary(model1)
结果如下
诊断图
模型拟合结果图
综合起来我们新模型貌似更优了;我就介绍到这里,具体大家可以看书籍
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
“用户旅程分析”概念 用户旅程图又叫做用户体验地图,它是用于描述用户在与产品或服务互动的过程中所经历的各个阶段、触点和情 ...
2025-01-22在竞争激烈的商业世界中,竞品分析对于企业的发展至关重要。今天,我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-22在数据分析领域,Excel作为一种普及率极高且功能强大的工具,无疑为无数专业人士提供了便捷的解决方案。尽管Excel自带了丰富的功 ...
2025-01-17在这个瞬息万变的时代,许多人都在寻找能让他们脱颖而出的职业。而数据分析师,作为大数据和人工智能时代的热门职业,自然吸引了 ...
2025-01-14Python作为一门功能强大的编程语言,已经成为数据分析和可视化领域的重要工具。无论你是数据分析的新手,还是经验丰富的专业人士 ...
2025-01-10完全靠数据决策,真的靠谱吗? 最近几年,“数据驱动”成了商界最火的关键词之一,但靠数据就能走天下?其实不然!那些真正成功 ...
2025-01-09SparkSQL 结构化数据处理流程及原理是什么?Spark SQL 可以使用现有的Hive元存储、SerDes 和 UDF。它可以使用 JDBC/ODB ...
2025-01-09在如今这个信息爆炸的时代,数据已然成为企业的生命线。无论是科技公司还是传统行业,数据分析正在深刻地影响着商业决策以及未来 ...
2025-01-08“数据为王”相信大家都听说过。当前,数据信息不再仅仅是传递的媒介,它成为了驱动经济发展的新燃料。对于企业而言,数据指标体 ...
2025-01-07在职场中,当你遇到问题的时候,如果感到无从下手,或者抓不到重点,可能是因为你掌握的思维模型不够多。 一个好用的思维模型, ...
2025-01-06在现代企业中,数据分析师扮演着至关重要的角色。每天都有大量数据涌入,从社交媒体到交易平台,数据以空前的速度和规模生成。面 ...
2025-01-06在职场中,许多言辞并非表面意思那么简单,有时需要听懂背后的“潜台词”。尤其在数据分析的领域里,掌握常用术语就像掌握一门新 ...
2025-01-04在当今信息化社会,数据分析已成为各行各业的核心驱动力。它不仅仅是对数字进行整理与计算,而是在数据的海洋中探寻规律,从而指 ...
2025-01-03又到一年年终时,各位打工人也迎来了展示成果的关键时刻 —— 年终述职。一份出色的年终述职报告,不仅能全面呈现你的工作价值, ...
2025-01-03在竞争激烈的商业世界中,竞品分析对于企业的发展至关重要。今天,我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-03在数据分析的江湖里,有两个阵营总是争论不休。一派信奉“大即是美”,认为数据越多越好;另一派坚守“小而精”,力挺质量胜于规 ...
2025-01-02数据分析是一个复杂且多维度的过程,从数据收集到分析结果应用,每一步都是对信息的提炼与升华。可视化分析结果,以图表的形式展 ...
2025-01-02在当今的数字化时代,数据分析师扮演着一个至关重要的角色。他们如同现代企业的“解密专家”,通过解析数据为企业提供决策支持。 ...
2025-01-02数据分析报告至关重要 一份高质量的数据分析报告不仅能够揭示数据背后的真相,还能为企业决策者提供有价值的洞察和建议。 年薪 ...
2024-12-31数据分析,听起来好像是技术大咖的专属技能,但其实是一项人人都能学会的职场硬核能力!今天,我们来聊聊数据分析的核心流程,拆 ...
2024-12-31