相关分析：有没有关系，关系有多大

回归分析：关系是什么

（扩展：智能识别设备：独立成分分析）

事物总有着向其大概率方向回归的趋势。

现代意义：

构成：因变量（通常1个），自变量（通常多个）

类型：一元线性回归； 多元线性回归；一元非线性回归；多元非线性回归

如何进行一元线性回归模型？

一般分四步：

模型设定-模型估计-模型检验-模型应用

总体

条件均值形式： E(y)=βo+β1x

个别值形式：y=βo+β1x+ε（ε随机误差项）

ε的性质决定了模型方法的选择和使用

样本

条件均值形式： y尖=βo尖+β1尖x

个别值形式：y=βo尖+β1尖x+e（e残差）

最小二乘法（最常用）

有严格的使用条件---一元线性回归模型的基本假定

① 因变量y与自变量x之间具有线性关系

② 在重复抽样中，自变量x的取值是固定的，即x非随机。

③ 误差项ε是一个期望值为0的随机变量，即E(ε)=0。【零均值】

④ 对于所有的x值， ε的方差σ2都相同【同方差】【跨群体跨区域很难做到同方差】

⑤ 误差项ε是一个服从正态分布的随机变量，且相互独立。

即ε~N(0,σ2 )【不同的，不相关的，无自相关】

独立性意味着对于一个特定的 x 值，它所对应的ε与其他 x 值所对

应的ε不相关

对于一个特定的 x 值，它所对应的 y 值与其他 x 所对应的 y 值也不相关

最小二乘估计法：

回归模型的检验：

拟合优度检验：我们把样本回归线对样本观测数据拟合的优劣

程度称为样本回归线的拟合优度。

拟合优度的度量是建立在对数据总变差分解的

基础上的。

变：特指y的变化；可能有两个原因，一个是x导致，一个是x以外导致的。

变差：为了衡量变化作了一个差，叫变差，与均值的比较；y-y拔。

总变差：∑（y-y拔）^2 (平方的原因是防止正负抵消)

可决系数（或判定系数），记作R2。

R2 = SSR/SST = 1-SSE/SST

反映回归直线的拟合程度

取值范围在 [ 0, 1] 之间

R2 →1，说明回归方程拟合的越好； R2→0，说明回归方程拟合的越差

在一元回归中，判定系数等于相关系数的平方，即R2＝(r)^ 2

一元线性回归：④检验步骤

如果我们希望模型没问题的话，在这个地方拒绝原假设才好

统计学总是反复性说“显著性”，统计学总是强调的不是“有和无”而是有的“明不明显”，无的“明不明显”。