SPSS教程:做多重线性回归,方差不齐怎么办
今天我们就来继续讨论一下,如果残差不满足方差齐性时,应该如何解决?
一、残差方差齐性判断
1. 残差方差齐性
回顾一下前面介绍过的残差方差齐性,即残差ei的大小不随预测值水平的变化而变化。我们在进行残差分析时,可以通过绘制标准化残差和标准化预测值的散点图来进行判断。若残差满足方差齐性,则标准化残差的散点会在一定区域内,围绕标准化残差ei=0这条直线的上下两侧均匀分布,不随标准化预测值的变化而变化,如图1所示。
图1. 标准化残差散点图(方差齐性)
2. 残差方差不齐
但有时残差不满足方差齐性的假设,其标准化残差散点图显示,残差的变异程度随着变量取值水平的变化而发生变化,如图2(a)显示标准化残差的分布随变量取值的增大而呈现扩散趋势,图2(b)显示标准化残差的分布随变量取值的增大而呈现收敛趋势,说明残差不满足方差齐性的条件。
图2. 标准化残差散点图(方差不齐)
二、加权最小二乘法
在多重线性回归模型中,我们采用的是普通最小二乘法(Ordinary Least Square,OLS)来对参数进行估计,即要求每个观测点的实际值与预测值之间的残差平方和最小,对于模型中的每个观测点是同等看待的,残差满足方差齐性的假设。
但是在有些研究问题中,例如调查某种疾病的发病率,以地区为观测单位,很显然地区人数越多,所得到的率就越稳定,变异程度越小,而地区人数越少,所得到的率的变异就越大。在这种情况下,因变量的变异程度会随着自身数值或其他变量的变化而变化,残差不满足方差齐性的条件。此时如果继续采用OLS方法进行模型估计,则拟合结果就会受到变异程度较大的数据的影响,在这种情况下构建的回归模型就会发生偏差,预测精度降低,甚至预测功能失效。
为了解决这一问题,我们可以采用加权最小二乘法(Weighted Least Squares,WLS)的方法来进行模型估计,即在模型拟合时,根据数据变异程度的大小赋予不同的权重,对于变异程度较小、测量更精确的数据赋予较大的权重,对于变异程度较大、测量不稳定的数据赋予较小的权重,从而使得加权后回归直线的残差平方和最小,保证拟合的模型具有更好的预测价值。
三、SPSS操作
1. 研究问题
某研究人员拟研究PM2.5浓度与癌症发病率之间的关联性,以地区为观测单位,收集了40个地区的癌症发病率(/10万),PM2.5年平均浓度(μg/m3),人口数量(万),地区来源(0=农村,1=城市)等信息。(注:数据为模拟数据,不代表真实情况)
2. 判断残差是否满足方差齐性
参考多重线性回归的SPSS操作步骤,结果显示采用普通最小二乘法方法拟合的线性回归模型具有统计学意义(P<0.001),决定系数R Square为0.798,PM2.5平均浓度、不同地区来源(District)和不同人口数量对癌症发病率的影响有统计学显著性(P<0.05)。
残差散点图显示,标准化残差的变异程度会随着标准化预测值的增大而增大,呈现扩散趋势,表明残差不满足方差齐性的假设。
3. 权重估计
根据专业知识和经验判断,人口数量(Population)可能为导致残差不满足方差齐性的一个重要因素,下面对人口数量进行权重估计。
(1)选择Analyze → Regression → Weight Estimation,在Weight Estimation对话框中,将Cancer选入Dependent,将District和PM2.5选入Independent(s)中。
(2)将拟加权的变量Population选入Weight Variable中,系统将按照1/(权重变量)的power次幂对每条记录进行加权。
(3)Power range用于定义权重变量的指数,默认为-2~2,步长为0.5,即将拟合指数分为-2、-1.5、-1、-0.5、0、0.5、1、1.5和2一共构建9个方程中,并从中选取效果最佳的一个拟合指数。本例中标准化残差随着标准化预测值的增大而增大,因此Power range为正值,此处设定Power range的范围为0~5,步长为0.5。
(4)点击Option,选择Save best weight as new variable,生成一个新的变量用以保存效果最佳的权重。最后点击Continue回到Weight Estimation主对话框,点击OK完成操作。
(5)结果汇总
Log-Likelihood Values表中输出了在给定步长下每个指数值对应的对数似然值,选取对数似然值最大的一项为最优指数,因此本例中最终确定的最优指数值为3,即权重按照1/population3的函数关系来计算权重。同时系统会在确定最优指数的情况下,自动生成一个名为WGT_1的变量用于保存权重系数。
4. 最小二乘法操作
(1)选择Analyze → Regression → Linear,在Linear Regression对话框中,将Cancer选入Dependent,将District、PM2.5、Population选入Independent(s)中,将新生成的变量Weight for Cancer from WLS(WGT_1)选入WLS Weight中。
(2)点击Save选项,在Predicted Values和Residuals框下均选择Unstandardized。最后点击Continue回到Linear Regression主对话框,点击OK完成操作。
(3)绘制残差散点图
由于在SPSS中使用WLS模型无法直接绘制加权残差散点图,SPSS会给出相应的警示(如下图所示),因此我们需要按照SPSS提示中提供的计算公式,对加权预测值和加权残差值进行一定的转换,然后再绘制转换后的加权残差散点图。
选择Transform → Compute Variable,利用前几步操作生成的权重值(WGT_1)、加权预测值(PRE_1)和加权残差值(RES_1)来计算生成两个新变量,即转换的加权预测值wgtpred = PRE_1 * sqrt(WGT_1)和转换的加权残差值wgtresid = RES_1 * sqrt(WGT_1)。
然后选择Graphs → Legacy Dialogs → Scatter/Dot → Simple Scatter,将wtgpred选入X Axis,将wtgresid选入Y Axis,点击OK绘制散点图。
5. 结果汇总
(1)结果显示,采用加权最小二乘法拟合的线性回归模型仍具有统计学意义(P<0.001),决定系数R Square为0.779。由于决定系数计算方法本身的问题,在加权线性回归里会出现一定的偏差,导致加权方法计算得到的R2往往要小于普通最小二乘法的R2,但这并不代表加权的模型比普通模型的拟合效果差,两者不能简单相比。
(2)模型结果显示,PM2.5平均浓度、不同地区来源(District)和不同人口数对癌症发病率的影响有统计学显著性(P<0.05),且偏回归系数较普通最小二乘法更为稳健。
(3)转换后的加权残差散点图显示,残差的散点围绕ei=0这条直线的上下两侧均匀分布,不随预测值的变化而变化,说明经过加权校正后,残差已满足方差齐性的条件,达到了加权校正的目的。
本文介绍了残差不满足方差齐性的处理方法,如果是其他条件不满足时,该如何处理呢?我们后续还会再做介绍,敬请期待!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17