作者 | 吹牛Z
来源 | 数据不吹牛
原文 | Python数据分析实战基础 | 清洗常用4板斧
首先,导入案例数据集。因为案例数据存放在同一个Excel表的不同Sheet下,我们需要指定sheetname分别读取:
下面开始清洗的正餐。
01 增——拓展数据维度
1.1 纵向合并
这三个sheet的数据,维度完全一致(每列数据都是一样),纵向合并起来分析十分方便。说到纵向合并,concat大佬不请自来,他的招式简单明了——pd.concat([表1,表2,表3]),对于列字段统一的数据,我们只需把表依次传入参数:
concat大佬继续说到:“其实把我参数axis设置成1就可以横向合并.."说时迟那时快,我一个箭步冲上去捂住他的嘴巴“牛逼的人做好一件事就够了,横向的就交给merge吧~”
小Z温馨提示:pandas中很多函数功能十分强大,能够实现多种功能,但对于萌新来说,过多甚至交叉的功能往往会造成懵B的状态,所以这里一种功能先只用一种方式来实现。
1.2 横向合并
横向合并涉及到连接问题,为方便理解,我们构造一些更有代表性的数据集练手:
两个DataFrame是两张成绩表,h1是5位同学的数学、英语、语文成绩,h2是4位同学的篮球和舞蹈成绩,现在想找到并合并两张表同时出现的同学及其成绩,可以用merge方法:
我们来详解一下merge的参数,left和rgiht分别对应着需要连接的左表和右表,这里语数外成绩表是左表,篮球、舞蹈成绩是右表。
left_index与right_index是当我们用索引(这两个表的名字在索引中)连接时指定的参数,设置为on表示用该表的索引作为连接的条件(或者说桥梁)。假设姓名是单独的一列值,且需要根据姓名进行匹配,那就需要用“left_on = '姓名',right_on = '姓名'”,我们可以分别指定左表的匹配列和右表的匹配列。
how是指定连接方式,这里用的inner,表示我们基于姓名索引来匹配,只返回两个表中共同(同时出现)姓名的数据。下面详解一下inner还涉及到的其他参数——left,right,outer。
左右连接(left和right):
左连接(left)和右连接(right),我们可以直观理解为哪边的表是老大,谁是老大,就听谁的(所有行全部保持),先看左连接,左表h1原封不动,右边根据左表进行合并,如果存在相关的名字,就正常返回数据,如果不存在(韩梅梅、李雷),就返回空(NAN)值;右连接就是听右表的,左表有则返回无则为空。
外连接(outer):
外连接是两张表妥协的产物,我的数据全保留,你的也全保留,你有我无的就空着,你无我有的也空着。
02 删——删空去重
2.1 删空
在一些场景,源数据的缺失(空值)对于分析来说是干扰项,需要系统的删除。上文我们合并后的df数据集就是有缺失数据的:
要删除空值,一个dropna即可搞定:
dropna函数默认删除所有出现空值的行,即只要一行中任意一个字段为空,就会被删除。我们可以设置subset参数,例如dropna(subset = ['city']),来指定当一行中的city字段为空时,才会被删除。
2.2 去重
说是讲去重,但是案例数据比较干净,没有两行数据是完全一样的,所以我们要制造点困难,增加几行重复值:
把源数据重复两遍,赋值给repeat,这样每一行数据都有重复的数据。要把重复数据删掉,一行代码就搞定:
drop_duplicates方法去重默认会删掉完全重复的行(每个值都一样的行),如果我们要删除指定列重复的数据,可以通过指定subset参数来实现,假如我们有个奇葩想法,要基于“流量级别”这列进行去重,则可以:
我们会发现,流量有三个级别,通过指定subset参数,我们删除了这个字段重复的行,保留了各自不重复的第一行。继续展开讲,在源数据中,流量渠道为“一级”的有7行数据,每行数据其他字段都不相同,这里我们删除了后6行,只保留了第一行,但如果我们想在去重的过程中删除前面6行,保留最后一行数据怎么操作?答案很简单,指定keep参数即可。
keep值等于last,保留最后一行数据,不输入keep值时,系统默认会给keep赋值为first,就会保留第一行数据而删掉其他的。
03 查——基于条件查询
查,不是单纯的返回几行数据,而是根据业务实际需求,基于一定的条件查看和选择数据。
3.1 按条件索引/筛选
loc独白:你没有看错,哥的分量实在是太重了,所以又来抢个沙发,刷个脸熟。
这次需求是筛选出访客数大于10000的一级渠道,loc一下:
在行参数设置好同时满足访客数大于10000和流量级别等于“一级”这两个条件即可。
3.2 排序
很多情况下,我们都需要通过排序来观察数据规律,以及快速筛选出TOP N的数据项。对于案例数据,我们怎么样按交易金额进行排序并筛选出TOP3的渠道呢?
问题的关键就在于排序,这个时候sort_values函数就派上用场了:
整个操作十分简单,sort_values函数,顾名思义是按照数值进行排序,首先要传入的参数是列参数,即我们根据哪一列的数值来进行排序,ascending参数决定了排序顺序,等于Flase则是从大到小的降序,设置为True则是升序。
排序完之后,筛选TOP3渠道就非常简单:
补充一个知识点,如果跟着文章操作,会发现无论是删空的dropna,还是去重的drop_duplicates,或者是排序的sort_values,在对源数据进行操作后,源数据并未改变,这是因为我们没有对这几个函数的inplace值进行设置,如果设置成inplace = True,删空、去重和排序都会在源数据上生效。
但这里为了避免出现不必要的错误而无法更改,更建议大家把操作后的源数据赋值给新的变量,如new = df.dropna(),而不是将源数据的inplace参数设置为True。
04 分——分组和切分
话天下大势,合久必分,数据亦是如此。在分组的版块中,我们重点介绍groupby分组和cut切分。
4.1分组
在案例数据中,总的流量级别有三级,每一级下又有多个投放地区,如果我们想汇总看每个级别流量所对应的总访客数和支付金额,就需要用到分组了。
groupby是分组函数,最主要的参数是列参数,即按照哪一列或者哪几列(多列要用列表外括)进行汇总,这里是按照流量级别:
可以看到,直接分组之后,没有返回任何我们期望的数据,要进一步得到数据,需要在分组的时候对相关字段进行计算(常用的计算方法包括sum、max、min、mean、std):
后面加上了sum,代表我们先按照流量级别进行分组,再对分组内的字段求和。由于没有指定求和的列,所以是对所有数值型字段进行了求和。此处我们只想要各级别流量下的访客数和支付金额,需要指明参数:
流量级别作为汇总的依据列,默认转化为索引列,如果我们不希望它变成索引,向groupby内传入参数as_index = False即可:
4.2 切分
切分(分桶)操作常用于一维数组的分类和打标,cut函数能够高效的完成任务。它的主要参数和用法如下:
不要被复杂的解释迷惑,一个例子就完全搞懂了。
以案例数据为例,每个渠道都有对应的访客数,我们现在希望对各渠道访客级、千级和万级的渠道。
我们想对流量级别进行百、千、万的归类,所以把分组数值标准传入bins参数。从结果可以看到,在不设置right的情况下,分组区间是默认左开右闭的,而我们希望的是左闭右开,即百级流量渠道访客数在0-99之间,所以需要将right值设置为False。
下面我们直接对分组后的数据进行打标,访客数在0-99设置为“辣鸡”,100-999设置为百级,千级和万级以此类推,同时将打好标签的数据作为新列给到源
非常高效,一行半代码就搞定了分组、判断和打标的过程。
总结
本文从增、删、查、分四个模块,分别介绍了横向、纵向合并;删空、去重;筛选、排序和分组、切分等数据清洗过程中的常见操作。在实际运用中,各操作往往是你中有我,我中有你,共同为了营造一个“干净”的数据而努力。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10推荐学习书籍 《CDA一级教材》在线电子版正式上线CDA网校,为你提供系统、实用、前沿的学习资源,助你轻松迈入数据分析的大门! ...
2025-03-07在数据驱动决策的时代,掌握多样的数据分析方法,就如同拥有了开启宝藏的多把钥匙,能帮助我们从海量数据中挖掘出关键信息,本 ...
2025-03-06在备考 CDA 考试的漫漫征途上,拥有一套契合考试大纲的优质模拟题库,其重要性不言而喻。它恰似黑夜里熠熠生辉的启明星,为每一 ...
2025-03-05“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关 ...
2025-03-04以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-04在现代商业环境中,数据分析师的角色愈发重要。数据分析师通过解读数据,帮助企业做出更明智的决策。因此,考取数据分析师证书成为了许多人提升职业竞争力的选择。本文将详细介绍考取数据分析师证书的过程,包括了解证书种类和 ...
2025-03-03在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2025-03-03数据分析师认证考试全面升级后,除了考试场次和报名时间,小伙伴们最关心的就是报名费了,报 ...
2025-03-032025年刚开启,知乎上就出现了一个热帖: 2024年突然出现的经济下行,使各行各业都感觉到压力山大。有人说,大环境越来越不好了 ...
2025-03-03大数据分析师培训旨在培养学员掌握大数据分析的基础知识、技术及应用能力,以适应企业对数据分析人才的需求。根据不同的培训需求 ...
2025-03-03小伙伴们,最近被《哪吒2》刷屏了吧!这部电影不仅在国内掀起观影热潮,还在全球范围内引发了关注,成为中国电影崛起的又一里程 ...
2025-03-03以下的文章内容来源于张彦存老师的专栏,如果您想阅读专栏《Python 数据可视化 18 讲(PyEcharts、Matplotlib、Seaborn)》,点 ...
2025-02-28最近,国产AI模型DeepSeek爆火,其创始人梁文峰走进大众视野。《黑神话:悟空》制作人冯骥盛赞DeepSeek为“国运级别的科技成果” ...
2025-02-271.统计学简介 听说你已经被统计学劝退,被Python唬住……先别着急划走,看完这篇再说! 先说结论,大多数情况下的学不会都不是知 ...
2025-02-27“我们的利润率上升了,但销售额却没变,这是为什么?” “某个业务的市场份额在下滑,到底是什么原因?” “公司整体业绩稳定, ...
2025-02-26在数据分析工作中,你可能经常遇到这样的问题: 从浏览到消费的转化率一直很低,那到底该优化哪里呢? 如果你要投放广告该怎么 ...
2025-02-25近来deepseek爆火,看看deepseek能否帮我们快速实现数据看板实时更新。 可以看出这对不知道怎么动手的小白来说是相当友好的,尤 ...
2025-02-25挖掘用户价值本质是让企业从‘赚今天的钱’升级为‘赚未来的钱’,同时让用户从‘被推销’变为‘被满足’。询问deepseek关于挖 ...
2025-02-25