3.1.1、数学期望

     如果X是在概率空间（Ω, P）中的一个随机变量，那么它的期望值E[X]的定义是：

3.1.2、方差与标准差

    其定义为：如果是随机变量X的期望值（平均数） 设为服从分布的随机变量，则称为随机变量或者分布的方差：

    样本方差是对总体方差的无偏估计。  中分母为 n-1 是因为的自由度为n-1(且慢，何谓自由度？简单说来，即指样本中的n个数都是相互独立的，从其中抽出任何一个数都不影响其他数据，所以自由度就是估计总体参数时独立数据的数目，而平均数是根据n个独立数据来估计的，因此自由度为n)，这是由于存在约束条件。 

3.1.3、协方差与相关系数

(其中，E为数学期望或均值，D为方差，D开根号为标准差，E{ [X-E(X)] [Y-E(Y)]}称为随机变量X与Y的协方差，记为Cov(X,Y)，即Cov(X,Y) = E{ [X-E(X)] [Y-E(Y)]}，而两个变量之间的协方差和标准差的商则称为随机变量X与Y的相关系数，记为)
    相关系数衡量随机变量X与Y相关程度的一种方法，相关系数的取值范围是[-1,1]。相关系数的绝对值越大，则表明X与Y相关度越高。当X与Y线性相关时，相关系数取值为1（正线性相关）或-1（负线性相关）。
    具体的，如果有两个变量：X、Y，最终计算出的相关系数的含义可以有如下理解：

1. 当相关系数为0时，X和Y两变量无关系。
2. 当X的值增大（减小），Y值增大（减小），两个变量为正相关，相关系数在0.00与1.00之间。
3. 当X的值增大（减小），Y值减小（增大），两个变量为负相关，相关系数在-1.00与0.00之间。

协方差矩阵

    由上，我们已经知道：协方差是衡量两个随机变量的相关程度。且随机变量 之间的协方差可以表示为

     故根据已知的样本值可以得到协方差的估计值如下：

    可以进一步地简化为：

    如此，便引出了所谓的协方差矩阵： 

3.2.1、独立同分布的中心极限定理

3.2.2、棣莫弗-拉普拉斯中心极限定理

    此外，据wikipedia上的介绍，包括上面介绍的棣莫弗-拉普拉斯定理在内，历史上前后发展了三个相关的中心极限定理，它们得出的结论及内容分别是：

• 棣莫弗－拉普拉斯（de Movire - Laplace）定理是中心极限定理的最初版本，讨论了服从二项分布的随机变量序列。

 其内容为：若是n次伯努利实验中事件A出现的次数，，则对任意有限区间：
(i)当及时，一致地有

(ii)当时，一致地有， 

，其中。

• 林德伯格－列维（Lindeberg-Levy）定理，是棣莫佛－拉普拉斯定理的扩展，讨论独立同分布随机变量序列的中心极限定理。

 其内容为：设随机变量独立同分布， 且具有有限的数学期望和方差，。

记，，则，其中是标准正态分布的分布函数。 

• 林德伯格－费勒定理，是中心极限定理的高级形式，是对林德伯格－列维定理的扩展，讨论独立，但不同分布的情况下的随机变量和。

    其内容为：记随机变量序列（独立但不一定同分布，且有有限方差）部分和为

    记

，

    如果对每个，序列满足

    则称它满足林德伯格（Lindeberg）条件。
    满足此条件的序列趋向于正态分布，即

    与之相关的是李雅普诺夫（Lyapunov）条件：

    满足李雅普诺夫条件的序列必满足林德伯格条件。 

    它表明，满足一定条件时，独立，但不同分布的随机变量序列的标准化和依然以标准正态分布为极限。

3.2.3、历史