判别分析的基本思想以及常见的判别分析方法
判别分析的基本概念及应用
从统计的角度来看,判别分析可以描述为:已知有个总体,现有样本y,要根据这k个总体和当前样本的特征,判定该样本y属于哪一个总体。其主要工作是根据对已知总体的理解,建立判别规则(又称判别函数),然后根据该判别规则对新的样本属于哪个总体做出判断。
判别分析在现实中有着广泛的应用。例如,在金融业,根据客户的信息对其信用等级的分类;在人力部门,根据已有的员工类别及特征对求职者进行相应的分类;在医学上,根据临床特征对是否染上某种疾病做出诊断;在市场营销上,根据调查资料来判断下个时间段(月、季度或年)产品是滞销、平常还是畅销;在环境科学上,根据大气中各种颗粒的指标来判断地区是严重污染、中度污染还是无污染;在体育运动科学中,根据运动员的各项生理指标及运动指标判断运动员适合短跑竞技还是长跑竞技,等等。
判别分析是一种多元统计方法。在判别分析中,往往需要研究考查对象的多个指标或变量,也就是说要有多个判别变量,才能建立合理的判别规则,即判别函数。例如在上面信用卡的例子中,要正确地判定信用等级,往往需要研究持卡人的职业、年龄、收入、交易历史等多个信息。
判别分析的假设条件
进行判别分析会涉及下述假设条件,但并不是说,这些假设条件不满足,就不能进行判别分析了,而是要根据这些假设条件来选择合适的分析方法,或者是通过这些假设条件来了解它们对判别函数或判别效果产生的影响。
每一个判别变量都不能是其他判别变量的线性组合。当一个判别变量与另外一个判别变量高度相关时,虽然能求解,但是误差将会很大。
各判别变量之间具有多元正态分布,即每个变量对于其他变量的固定值有正态分布。当多元正态分布假设满足时,可以使用参数方法,反之,则可以使用非参数方法,例如本章后面会提到的核方法和近邻法。
在多元正态假设条件满足的前提下,使用参数法可以计算出判别函数。更进一步,如果已知类别里变量的协方差矩阵相等,那么判别函数为一次函数;反之,判别函数为二次函数。
判别分析常见的方法
判别分析常见的方法有距离判别、Bayes判别和Fisher判别法等。理解判别上述几种判别分析方法的思想原理对于正确设定判别分析过程步中的选项是很有帮助的。
1. 距离判别
距离判别是最简单、也是最基本的判别方法,其基本思想是根据样本和不同总体的距离判定该样品所属的类别。样本和总体的距离由距离函数来度量。
进一步,可以定义判别函数,判别规则如下:
如果W(X)<0,那么X与B的距离较近,进而认为X是由设备B生产的;
如果W(X)>=0,那么认为X是设备A生产的。
根据上述规则,由于W(X)<0,因此可以判定X属于B类设备生产的产品。
这种将距离和分散性结合起来考虑的方法也称马氏距离(Mahalanobis Distance),该距离由印度数学家Mahalanobis于1936年基于协方差矩阵提出。假设总体G=(G1, G2, ..., Gk)为m维(考察的类别有k个,对应k个类别的子总体为Gk,指标有m个),均值向量,协方差矩阵为,那么样本与总体G的马氏距离定义为
马氏距离是最常见的距离函数之一,也是SAS用于判别分析过程步的选项之一。根据马氏距离定义的判别函数W(X)为线性函数或二次函数:
当G1, G2, ..., Gk的协方差矩阵相等时,W(X)为线性函数。
当G1, G2, ..., Gk的协方差矩阵不全相等时,W(X)为二次函数。
2. Bayes判别法
距离判别法简单、实用,但是该方法也有缺点:
未考虑各个总体的分布,以及样本出现在各个G1, G2, ..., Gk总体的概率(该概率在判别分析前出现,也称先验概率)。
没有考虑错判造成的损失。
Bayes判别法正是为了解决上述缺点而提出的。它将Bayes统计思想用在了判别分析上:假设已知样本出现在各个总体Gi的概率即先验概率P(Gi)的,在此基础上根据样本的信息,确定所观察到的样本属于各个总体Gi的概率(即后验概率)。该判别法根据后验概率对样本进行归类。
以下两种情形计算出来的判别函数是一致的:
在Bayes判别法中,考虑错判造成的损失均等。
马氏判别法中,考虑先验概率以及协方差矩阵不全相等。
因此,Bayes判别法中的距离函数可以看作是马氏距离的推广。在SAS判别分析的过程步的输出结果中,又将上述推广的马氏距离称为广义平方距离。
使用Bayes方法需要提前输入先验概率。常见的先验概率有以下几种:
等概率
概率与样本容量成比例
根据历史资料与经验进行估计
下文会在介绍SAS判别分析的过程步时,逐一介绍上述几种概率的设置方法。
3. Fisher判别法
Fisher判别法的基本思想是投影,具体地说,就是将k维数据投影到某一个方向,使得投影后类间的差异最大。在判定类间差异的问题上,Fisher借鉴了一元方差的基本思想。由于Fisher判别法对总体的分布没有任何要求,因此该判别法也被称为典型判别法。
为了更好地理解Fisher判别法,现在考虑两类总体的判别。如图14.1所示,训练样本有两个类别,若将其沿着坐标的X或Y方向投影,它们之间的区别都不是很显著(在实际计算中,可以通过不同类别间均值差异来衡量区分效果)。可是如果将坐标旋转至X'Y'方向,将样本沿着X'方向投影于Y'轴上,可以看出,投影后类别间的区分效果就比较好了。
图14.1两类总体的Fisher判别
把上述过程推广到多维的情形。在多维的情形下,好的投影是使得变换(即几何上的旋转坐标轴)后同类别的点尽可能在一起,不同类别的样本点尽可能的分离。Fisher判别法的实质是在寻找一个最能反映类与类之间差异的投影方向,即线性判别函数。一个好的线形判别函数U(X)=C'X,在k个总体G1, G2, ..., Gk中去求均值,所得到的k个值,应当有较大的离差,这就是Fisher准则。这里,离差的意义如下:
其中,为来自k个总体的样本(即来自这些总体的一维或多维随机向量);Ei和Di表示在第i个总体中的均值和方差。
当确定线形判别函数U(X)之后,计算U(X)到各个总体的距离,判定为来自距离最小的那个总体。
当训练样本数据集中的类数太多时,一个判别函数可能不能很好地区别类别,这时候就需要寻找第二个甚至更多的判别函数。一般认为,当前所有的判别函数的效率达到85%以上即可。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21