SPSS分析技术:非线性回归;非线性回归与曲线直线化有哪些异同点及优劣势
本文介绍的非线性回归就是针对以上更为复杂的问题而提出的一个通用的模型框架,它采用迭代方法对用户设置的各种复杂曲线模型进行拟合,同时将残差的定义从最小二乘法向外大大扩展(例如最小一乘法等方法)为用户提供了极为强大的分析能力。
曲线直线化和非线性回归
因变量和自变量是非线性关系时,可以通过曲线直线化和非线性回归对它们之间的关系进行拟合。许多较为简单的非线性模型可以通过变量变换转化为线性模型,它们又被称为可变换为线性的模型。可变换为线性的模型有许多优点,诸如易于求得某些参数的初始值等。虽然曲线回归简单快捷、易于理解,但是曲线回归(曲线直线化)的数据变换会导致随机误差项分布的变换,这将影响到最小二乘法所得解的含义以及模型的适用条件。例如假定变换前模型的误差项服从正态分布,对于变换后的数据来说,其相应的误差项很可能就不再服从正态分布。回归分析的假设不仅只有正态性,也包括方差齐性、独立性等要求,因此变换后的线性模型采用最小二乘法求得的最佳参数估计值并不一定是原模型的最佳估计。显然,在较为复杂的非线性模型中,曲线直线化有其固有的问题,因此在精度要求较高,或者模型较复杂的非线性回归问题中,采用曲线直线化来估计非线性方程并不是一个好的策略。
非线性回归的基本原理可以从其回归模型讲起。非线性回归模型一般可以表示为如下形式:
非线性回归参数估计的基本思想非常类似于线性模型,分析者必须先给出一个能够表示估计误差的曲线函数,然后使得该函数取值最小化,并求得此时的参数估计值。以常用的最小二乘法为例,它也是设法找到使得各数据点离模型回归线纵向距离的平方和达到最小值,但此处的模型回归线就是相应的曲线,而不是线性回归中的直线,或者曲线拟合中变换后的直线。
由于曲线函数并非直线,使得模型无法直接计算出最小二乘估计的参数值,因此非线性回归模型一般采用高斯-牛顿法进行曲线函数参数的估计。这种估计方法是对曲线函数作泰勒级数展开,以达到线性近似的目的,并反复迭代求解。首先为所有未知参数指定一个初始值,然后将原方程按泰勒级数展开,并只取一阶各项作为线性函数的逼近,其余各项均归入误差,然后采用最小二乘法对该模型中的参数进行估计,用参数估计值替代初始值,得到一个新的曲线函数;再将新得到的曲线函数展开,进行线性化,从而又可以求出一批参数估计值;如此反复,直至参数估计值收敛为止。这种参数估计方法的计算非常复杂,必须借助于计算机完成,在许多时候,初始值的设定对模型能否顺利求解是有显著影响的。非线性回归模型在SPSS中可以采用未约束和定义参数约束两个过程来拟和,前者用于一般的非线性模型,后者可用于带约束条件的非线性模型的拟合,适用范围更广,算法也不相同。
案例分析
为了对比(曲线回归)曲线直线化和非线性回归这两种回归方式的不同。下面依然采用文章:SPSS分析技术:曲线直线化;一氧化碳中毒如何避免?的案例,在这篇文章中,通过对数据进行变换,原来通风时间和毒物浓度间的曲线关系被转换成了直线,从而可以通过直接进行线性回归得到分析结果。
分析步骤
选择菜单【分析】-【回归】-【非线性】,在跳出的对话框中进行如下设置。将一氧化碳浓度(毒物浓度)选入因变量;因为我们观察因变量与自变量之间的关系服从指数函数,所以在模型表达式中输入指数函数公式y=a*exp(b*time)。因为指数函数有两个待确定参数,在右下角的输入两个参数的拟合初始值1。
结果解释
1、迭代过程。由于迭代过程记录太长,这里省略中间部分。观察残差平方和的变化,可见随着迭代地进行,残差平方和变得越来越小,也就是说模型无法解释的变异部分越来越少。但这一过程不是无限进行下去的,当进行了15步迭代,共拟合了32个模型后,残差平方和以及各参数的估计值均稳定下来,模型达到收敛标准。
2、模型方差分析的结果。相应的原假设为所拟合的模型对因变量的预测无贡献。由于这里进行的是非线性回归,方差分析的F值和p值只有参考意义,因此结果中并不给出,可以手工计算。显然,最终的p值远小于0. 05,拒绝原假设,可以认为模型对于因变量的预测是有作用的。方框中的最下方计算出了模型的决定系数为0.989,第6章曲线直线化的p值等于0. 961,可见非线性回归模型的拟合效果从决定系数来看是更好,可惜曲线直线化的决定系数与非线性回归的决定系数是不可比的(后面会介绍原因)。
3、回归系数估计值;
4、两种方法比较。
上面用非线性回归的方法得到了模型表达式的估计值。显然,该表达式和曲线直线化所得到的结果并不相同,a和b两个系数的值相差不小。究竟哪一个方程更好呢?虽然从决定系数上看似乎是非线性回归的方程更优,但是曲线拟合中计算出的决定系数实际上是曲线直线化后直线方程的决定系数,并不一定代表变换前的变异解释程度,即两个模型的决定系数是不可比的。
为了能直观地对两个模型进行比较,这里分别对本案例的数据分别拟合两个模型,并利用【保存】子对话框求得各自的模型预测值与预测残差,并绘制图形如下图所示。下图是原始数据、曲线回归模型、非线性回归模型三者的比较,从中可见在通风时间大于4 分钟时,两个模型的预测效果基本接近,似乎是非线性回归模型更好一些。但是在小于4 分钟时,则曲线拟和模型的预测效果明显较差。特别是第1和第2分钟的数据,显然预测误差较大。综合比较之下,非线性回归模型的拟合效果要更好。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10