十分钟搞定PCA主成分分析
在数据建模当中我们经常会听到一个词叫做降维,首先咱们先来唠一唠数据为啥要降维呢?最主要的原因还是在于一方面使得我们需要计算的量更少啦,想象一下一个100维的数据和一个10维数据计算的速度肯定是不一样的,另一方面如果我们的数据中有很无关特征,这些对结果看起来没什么促进的作用,那我们就干脆把有价值的拿出来,因为他们才是决定模型的关键!
第一个强调的关键点:PCA是一种无监督算法,也就是我们不需要标签也能对数据做降维,这就使得其应用范围更加广泛了。那么PCA的核心思想是什么呢?这里我们提到了方差,咱们可以想象一下,如果一群人都堆叠在一起,我们想区分他们是不是比较困难,但是如果这群人站在马路两侧,我们就可以很清晰的判断出来应该这是两伙人。所以基于方差我们可以做的就是让方差来去判断咱们数据的拥挤程度,在这里我们认为方差大的应该辨识度更高一些,因为分的比较开(一条马路给隔开啦)。但是PCA也有一个问题,原来的数据中比如包括了年龄,性别,身高等指标降维后的数据既然维度变小了,那么每一维都是什么含义呢?这个就很难解释了,所以PCA本质来说是无法解释降维后的数据的物理含义,换句话说就是降维完啦计算机能更好的认识这些数据,但是咱们就很难理解了。
在我们深入到PCA原理之前,先来解释一下什么叫基,把这个搞清楚之后就好理解了,大家一般所认识的坐标系一般都是X,Y轴。
就像我们图上面的,我说有一个向量(3,2),但是为什么这个向量是这样的表示呢?因为它在我们的做标系中,如果我把坐标系换了,它就不是(3,2)了。作为基,首先的一个前提就是要相互垂直,或者说内积为0,因为X和Y它们表达的分别是两种指标,我们不希望它们之间内部存在任何联系,所以必须让他们内积为0,这样就是各自独立的啦!
那么对我们坐标来说能否进行变换呢?肯定是可以的,比如我现在把(3,2)变换到另外一组基中,它的表达方式就不一样啦!这回咱们应该发现了这样一个事了吧,所谓的降维就是要把我们的数据投影到最合适的基中,那下面我们的目标就是寻找最好的基!
咱这之前,还是得先来了解下另外一个知识点,叫做协方差,刚才我们已经有了目标就是寻找一个基,可以使得我们数据投影过去后方差能够越大越好!这个是我们的前提,但是只满足这一点就够了嘛?还不可以,因为我们还需要保证基的前提就是相互垂直,这就可以用协方差来进行表示啦,如果两个变量他们之间是相互独立的那么它们的协方差就必定为0,这就是我们的第二点要求啦,数据投影到的新基,其各个维度协方差都必须为0。(上图中假定数据各个维度均值为0)
终于到啦要揭开谜底的时候啦!我们恰好遇到了一个东西叫做协方差矩阵,在公式中只需要对数据X进行变换就可以得到的。观察一下协方差矩阵,恰好发现了这样一个事,主对角线不就是我们的方差嘛(假设均值为0),非对角线上的元素又恰好是协方差。按照咱们之前的两点约定,我们只需要让方差越大越好,并且协方差等于0不就可以啦嘛!
怎么做上面的那件事呢?这就是我们的目标了。让非对角线全为0这就需要对矩阵进行对角化啦,按照我们上面的定理,我们可以完成对角化操作,对我们所得的协方差矩阵求解其特征值与特征向量不就OK啦嘛。接下来按照特征值的大小进行排列,如果你想把数据降到3维,那就取前3个特征值所对应的特征向量就可以啦!
全部的过程就在这里啦,其实只需要得到协方差矩阵,然后对角化,将得到的特征向量进行选择就得到我们要投影到的基啦!数据降维操作就这么愉快的搞定啦!
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21《Python数据分析极简入门》 第2节 3 Pandas数据查看 这里我们创建一个DataFrame命名为df: importnumpyasnpi ...
2024-11-21越老越吃香的行业主要集中在需要长时间经验积累和专业知识的领域。这些行业通常知识更新换代较慢,因此随着年龄的增长,从业者能 ...
2024-11-20数据导入 使用pandas库的read_csv()函数读取CSV文件或使用read_excel()函数读取Excel文件。 支持处理不同格式数据,可指定分隔 ...
2024-11-20大数据与会计专业是一门结合了大数据分析技术和会计财务理论知识的新型复合型学科,旨在培养能够适应现代会计业务新特征的高层次 ...
2024-11-20要成为一名数据分析师,需要掌握一系列硬技能和软技能。以下是成为数据分析师所需的关键技能: 统计学基础 理解基本的统计概念 ...
2024-11-20是的,Python可以用于数据分析。Python在数据分析领域非常流行,因为它拥有丰富的库和工具,能够高效地处理从数据清洗到可视化的 ...
2024-11-20在这个数据驱动的时代,数据分析师的角色变得愈发不可或缺。他们承担着帮助企业从数据中提取有价值信息的责任,而这些信息可以大 ...
2024-11-20数据分析作为现代信息时代的支柱之一,已经成为各行业不可或缺的工具。无论是在商业、科研还是日常决策中,数据分析都扮演着至关 ...
2024-11-20数字化转型已成为当今商业世界的热点话题。它不仅代表着技术的提升,还涉及企业业务流程、组织结构和文化的深层次变革。理解数字 ...
2024-11-20在现代社会的快速变迁中,选择一个具有长期增长潜力的行业显得至关重要。了解未来发展前景好的行业不仅能帮助我们进行职业选择, ...
2024-11-20