数据挖掘中所需的概率论与数理统计知识（三）-CDA数据分析师官网

数据挖掘中所需的概率论与数理统计知识（三）

2014-11-11

数据挖掘中所需的概率论与数理统计知识（三）

从数学期望、方差、协方差到中心极限定理

3.1、数学期望、方差、协方差

3.1.1、数学期望

如果X是在概率空间（Ω, P）中的一个随机变量，那么它的期望值E[X]的定义是：

并不是每一个随机变量都有期望值的，因为有的时候这个积分不存在。如果两个随机变量的分布相同，则它们的期望值也相同。

在概率论和统计学中，数学期望分两种(依照上文第二节相关内容也可以得出)，一种为离散型随机变量的期望值，一种为连续型随机变量的期望值。

一个离散性随机变量的期望值（或数学期望、或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。换句话说，期望值是随机试验在同样的机会下重复多次的结果计算出的等同“期望”的平均值。

例如，掷一枚六面骰子，得到每一面的概率都为1/6，故其的期望值是3.5，计算如下：

承上，如果X 是一个离散的随机变量，输出值为x1, x2, ...，和输出值相应的概率为p1, p2, ...（概率和为1），若级数

绝对收敛，那么期望值E[X]是一个无限数列的和：

上面掷骰子的例子就是用这种方法求出期望值的。

而对于一个连续型随机变量来说，如果X的概率分布存在一个相应的概率密度函数f（x），若积分绝对收敛，那么X 的期望值可以计算为：

实际上，此连续随机型变量的期望值的求法与离散随机变量的期望值的算法同出一辙，由于输出值是连续的，只不过是把求和改成了积分。

3.1.2、方差与标准差

方差

在概率论和统计学中，一个随机变量的方差（Variance）描述的是它的离散程度，也就是该变量离其期望值的距离。一个实随机变量的方差也称为它的二阶矩或二阶中心动差，恰巧也是它的二阶累积量。方差的算术平方根称为该随机变量的标准差。

其定义为：如果

是随机变量X的期望值（平均数）设

为服从分布

的随机变量，则称

为随机变量

或者分布

的方差：

其中，

μ为平均数，N为样本总数。

分别针对离散型随机变量和连续型随机变量而言，方差的分布律和概率密度如下图所示：

标准差

标准差（Standard Deviation），在概率统计中最常使用作为统计分布程度（statistical dispersion）上的测量。标准差定义为方差的算术平方根，反映组内个体间的离散程度。

简单来说，标准差是一组数值自平均值分散开来的程度的一种测量观念。一个较大的标准差，代表大部分的数值和其平均值之间差异较大；一个较小的标准差，代表这些数值较接近平均值。例如，两组数的集合 {0, 5, 9, 14} 和 {5, 6, 8, 9} 其平均值都是 7 ，但第二个集合具有较小的标准差。

前面说过，方差的算术平方根称为该随机变量的标准差，故一随机变量的标准差定义为：

须注意并非所有随机变量都具有标准差，因为有些随机变量不存在期望值。如果随机变量

为

具有相同概率，则可用上述公式计算标准差。

上述方差.标准差等相关内容，可用下图总结之：

样本标准差

在真实世界中，除非在某些特殊情况下，找到一个总体的真实的标准差是不现实的。大多数情况下，总体标准差是通过随机抽取一定量的样本并计算样本标准差估计的。说白了，就是数据海量，想计算总体海量数据的标准差无异于大海捞针，那咋办呢？抽取其中一些样本作为抽样代表呗。

而从一大组数值

当中取出一样本数值组合

，进而，我们可以定义其样本标准差为：

样本方差

是对总体方差

的无偏估计。

中分母为 n-1 是因为

的自由度为n-1(且慢，何谓自由度？简单说来，即指样本中的n个数都是相互独立的，从其中抽出任何一个数都不影响其他数据，所以自由度就是估计总体参数时独立数据的数目，而平均数是根据n个独立数据来估计的，因此自由度为n)，这是由于存在约束条件

。

3.1.3、协方差与相关系数

协方差

下图即可说明何谓协方差，同时，引出相关系数的定义：

相关系数

如上篇kd树blog所述相关系数 ( Correlation coefficient )的定义是：

(其中，E为数学期望或均值，D为方差，D开根号为标准差，E{ [X-E(X)] [Y-E(Y)]}称为随机变量X与Y的协方差，记为Cov(X,Y)，即Cov(X,Y) = E{ [X-E(X)] [Y-E(Y)]}，而两个变量之间的协方差和标准差的商则称为随机变量X与Y的相关系数，记为)
相关系数衡量随机变量X与Y相关程度的一种方法，相关系数的取值范围是[-1,1]。相关系数的绝对值越大，则表明X与Y相关度越高。当X与Y线性相关时，相关系数取值为1（正线性相关）或-1（负线性相关）。
具体的，如果有两个变量：X、Y，最终计算出的相关系数的含义可以有如下理解：

当相关系数为0时，X和Y两变量无关系。
当X的值增大（减小），Y值增大（减小），两个变量为正相关，相关系数在0.00与1.00之间。
当X的值增大（减小），Y值减小（增大），两个变量为负相关，相关系数在-1.00与0.00之间。

根据相关系数，相关距离可以定义为：

这里只对相关系数做个简要介绍，欲了解机器学习中更多相似性距离度量表示法，可以参看上篇kd树blog第一部分内容。

自此，已经介绍完期望方差协方差等基本概念，但一下子要读者接受那么多概念，怕是有难为读者之嫌，不如再上几幅图巩固下上述相关概念吧(数据挖掘)：

3.1.4、协方差矩阵与主成成分分析

协方差矩阵

由上，我们已经知道：协方差是衡量两个随机变量的相关程度。且随机变量之间的协方差可以表示为

故根据已知的样本值可以得到协方差的估计值如下：

可以进一步地简化为：

如此，便引出了所谓的协方差矩阵：

主成成分分析

尽管从上面看来，协方差矩阵貌似很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。这个方法在统计学中被称为主成分分析(principal components analysis，简称PCA)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。

根据wikipedia上的介绍，主成分分析PCA由卡尔·皮尔逊于1901年发明，用于分析数据及建立数理模型。其方法主要是通过对协方差矩阵进行特征分解，以得出数据的主成分（即特征矢量）与它们的权值（即特征值）。PCA是最简单的以特征量分析多元统计分布的方法。其结果可以理解为对原数据中的方差做出解释：哪一个方向上的数据值对方差的影响最大。

然为何要使得变换后的数据有着最大的方差呢？我们知道，方差的大小描述的是一个变量的信息量，我们在讲一个东西的稳定性的时候，往往说要减小方差，如果一个模型的方差很大，那就说明模型不稳定了。但是对于我们用于机器学习的数据（主要是训练数据），方差大才有意义，不然输入的数据都是同一个点，那方差就为0了，这样输入的多个数据就等同于一个数据了。

简而言之，主成分分析PCA，留下主成分，剔除噪音，是一种降维方法，限高斯分布，n维眏射到k维，

减均值，
求特征协方差矩阵，
求协方差的特征值和特征向量，
取最大的k个特征值所对应的特征向量组成特征向量矩阵，
投影数据=原始样本矩阵x特征向量矩阵。其依据为最大方差，最小平方误差或坐标轴相关度理论，及矩阵奇异值分解SVD（即SVD给PCA提供了另一种解释）。

也就是说，高斯是0均值，其方差定义了信噪比，所以PCA是在对角化低维表示的协方差矩阵，故某一个角度而言，只需要理解方差、均值和协方差的物理意义，PCA就很清晰了。

再换言之，PCA提供了一种降低数据维度的有效办法；如果分析者在原数据中除掉最小的特征值所对应的成分，那么所得的低维度数据必定是最优化的（也即，这样降低维度必定是失去讯息最少的方法）。主成分分析在分析复杂数据时尤为有用，比如人脸识别。

3.2、中心极限定理

本节先给出现在一般的概率论与数理统计教材上所介绍的2个定理，然后简要介绍下中心极限定理的相关历史。

3.2.1、独立同分布的中心极限定理

独立中心极限定理如下两图所示：

3.2.2、棣莫弗-拉普拉斯中心极限定理

此外，据wikipedia上的介绍，包括上面介绍的棣莫弗-拉普拉斯定理在内，历史上前后发展了三个相关的中心极限定理，它们得出的结论及内容分别是：

棣莫弗－拉普拉斯（de Movire - Laplace）定理是中心极限定理的最初版本，讨论了服从二项分布的随机变量序列。

其内容为：若是n次伯努利实验中事件A出现的次数，，则对任意有限区间：
(i)当及时，一致地有

(ii)当时，一致地有，
，其中。

它指出，参数为n, p的二项分布以np为均值、np(1-p)为方差的正态分布为极限。

林德伯格－列维（Lindeberg-Levy）定理，是棣莫佛－拉普拉斯定理的扩展，讨论独立同分布随机变量序列的中心极限定理。

其内容为：设随机变量独立同分布，且具有有限的数学期望和方差，。
记，，则，其中是标准正态分布的分布函数。

它表明，独立同分布、且数学期望和方差有限的随机变量序列的标准化和以标准正态分布为极限。

林德伯格－费勒定理，是中心极限定理的高级形式，是对林德伯格－列维定理的扩展，讨论独立，但不同分布的情况下的随机变量和。

其内容为：记随机变量序列（独立但不一定同分布，且有有限方差）部分和为

记

，

如果对每个，序列满足

则称它满足林德伯格（Lindeberg）条件。
满足此条件的序列趋向于正态分布，即

与之相关的是李雅普诺夫（Lyapunov）条件：

满足李雅普诺夫条件的序列必满足林德伯格条件。

它表明，满足一定条件时，独立，但不同分布的随机变量序列的标准化和依然以标准正态分布为极限。

3.2.3、历史

1776年，拉普拉斯开始考虑一个天文学中的彗星轨道的倾角的计算问题，最终的问题涉及独立随机变量求和的概率计算，也就是计算如下的概率值
令 Sn=X1+X2+⋯+Xn, 那么

在这个问题的处理上，拉普拉斯充分展示了其深厚的数学分析功底和高超的概率计算技巧，他首次引入了特征函数(也就是对概率密度函数做傅立叶变换)来处理概率分布的神妙方法，而这一方法经过几代概率学家的发展，在现代概率论里面占有极其重要的位置。基于这一分析方法，拉普拉斯通过近似计算，在他的1812年的名著《概率分析理论》中给出了中心极限定理的一般描述：

[定理Laplace，1812]设 ei(i=1,⋯n)为独立同分布的测量误差，具有均值μ和方差σ2。如果λ1,⋯,λn为常数，a>0,则有

这已经是比棣莫弗-拉普拉斯中心极限定理更加深刻的一个结论了，在现在大学本科的教材上，包括包括本文主要参考之一盛骤版的概率论与数理统计上，通常给出的是中心极限定理的一般形式：

[Lindeberg-Levy中心极限定理] 设X1,⋯,Xn独立同分布，且具有有限的均值μ和方差σ2，则在n→∞时,有

多么奇妙的性质，随意的一个概率分布中生成的随机变量，在序列和(或者等价的求算术平均)的操作之下，表现出如此一致的行为，统一的规约到正态分布。

概率学家们进一步的研究结果更加令人惊讶，序列求和最终要导出正态分布的条件并不需要这么苛刻，即便X1,⋯,Xn并不独立，也不具有相同的概率分布形式，很多时候他们求和的最终归宿仍然是正态分布。

在正态分布、中心极限定理的确立之下，20世纪之后，统计学三大分布χ2分布、t分布、F分布也逐步登上历史舞台：

如上所述，中心极限定理的历史可大致概括为：

中心极限定理理的第一版被法国数学家棣莫弗发现，他在1733年发表的卓越论文中使用正态分布去估计大量抛掷硬币出现正面次数的分布；
1812年，法国数学家拉普拉斯在其巨著 Théorie Analytique des Probabilités中扩展了棣莫弗的理论，指出二项分布可用正态分布逼近；
1901年，俄国数学家李雅普诺夫用更普通的随机变量定义中心极限定理并在数学上进行了精确的证明。

如今，中心极限定理被认为是(非正式地)概率论中的首席定理。本文来自：https://www.cda.cn/

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

特征正态分布 PCA 特征向量 SVD 机器学习 F分布降维

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇随机森林 vs XGBoost vs 决策树：算法选择中的

下一篇图论在大数据分析中的作用！

数据挖掘中所需的概率论与数理统计知识（三）