pythonshujuqingxi/' style='color:#000;font-size:inherit;'>python数据清洗功能非常强大,相信很多进行数据处理工作的小伙伴都遇到过这种需求,比如已经有了各个销售员的销售业绩,现在需要给各个销售业绩进行一个分档,诸如未完成任务,完成任务,超额完成任务等。要完成分档需要先对销售业绩的数值进行判断,然后再根据判断的结果进行一个分类,那么大家都是怎样进行分类的呢?
实际上,上述需求是要对连续型的数值进行分箱操作,实现的方法有N种,但是效率有高有低,这里我们介绍两种效率比较高而且也容易理解的方法。
先来看一下这个函数都包含有哪些参数,主要参数的含义与作用都是什么?
pd.cut( x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False, duplicates='raise', )
x : 一维数组(对应前边例子中提到的销售业绩)
bins :整数,标量序列或者间隔索引,是进行分组的依据,
right :布尔值,默认为True表示包含最右侧的数值
labels : 数组或布尔值,可选.指定分箱的标签
retbins: 是否显示分箱的分界值。默认为False,当bins取整数时可以设置retbins=True以显示分界值,得到划分后的区间
precision:整数,默认3,存储和显示分箱标签的精度。
include_lowest:布尔值,表示区间的左边是开还是闭,默认为false,也就是不包含区间左边。
duplicates:如果分箱临界值不唯一,则引发ValueError或丢弃非唯一
ok,所有参数的含义与作用就是这些了,纯文字解释怎么都不如代码跑一遍来的直观,我们在代码中实现一下再结合上述文字解释就很容易理解了。而且并不是所有参数都是常用的,有些参数很少用到!
先来看一下数据源
df_f = pd.read_excel(r"D:\data\football\球队排名比分2019.xlsx") df_f
读入的数据是2019年英超各球队的积分:
bins取整数,即指定箱子个数
我们对积分数据进行分箱,先来最简单的:
pd.cut(df_f.积分,bins=3,labels=["低","中","高"]) #分成3箱并指定标签
分箱结果:
0 高 1 高 2 中 3 中 4 中 5 中 6 中 7 中 8 低 9 低 10 低 11 低 12 低 13 低 14 低 15 低 16 低 17 低 18 低 19 低 Name: 积分, dtype: category Categories (3, object): [低 < 中 < 高]
直接指定箱子个数,分成等宽的3份,感兴趣的同学可以求一下每个箱子内的极值,应该是约相等的。
前边有提到,这种分箱方式看不到分界值是多少,但是可以通过参数进行设置显示分界值:
pd.cut(df_f.积分,3,labels=["低","中","高"],retbins=True) #retbins=True显示分界值
分箱结果:
(0 高 1 高 2 中 3 中 4 中 5 中 6 中 7 中 8 低 9 低 10 低 11 低 12 低 13 低 14 低 15 低 16 低 17 低 18 低 19 低 Name: 积分, dtype: category Categories (3, object): [低 < 中 < 高], array([13.953 , 29.66666667, 45.33333333, 61. ]))
是不是能明显的看出和上一次代码结果相比多了一个 array([13.953 , 29.66666667, 45.33333333, 61. ]),这就是分箱的分界值啦,我们就能知道分箱的时候是以那个数值作为分界点进行分箱的了。
如果不指定每个箱子的标签是什么
pd.cut(df_f.积分,3,labels=False) #只显示数据位于第几个箱子里
分享结果:
0 2 1 2 2 1 3 1 4 1 5 1 6 1 7 1 8 0 9 0 10 0 11 0 12 0 13 0 14 0 15 0 16 0 17 0 18 0 19 0 Name: 积分, dtype: int64
只显示每个位置上的数值属于第几个箱子
**bins取标量序列 **
pd.cut(df_f.积分,[0,30,40,70],labels=["低","中","高"]) #默认right = True
指定分箱时候的分界点,即030,3040,40~70一共三个箱体,有默认的right = True,即分箱的时候,30包含在030的箱体中,40包含在3040的箱体中,70包含在40~70的箱体中,我们来看下结果,是不是和描述一致:
这里红框部分是要和下边更改参数right后的结果进行对比的,我们来看下:
pd.cut(df_f.积分,[0,30,40,70],labels=["低","中","高"],right=False)
分箱结果:
能够看到,right参数设置对分箱结果的影响。为什么会有这样的影响呢?我们回顾下我们的原数据:
能够发现分享发生变化的数值正好是我们分箱的临界值,可以通过参数进行设置临界值被划分到哪一边的箱体中。
如果需要将分箱的结果展示在原数据框中,直接赋值一列进去就可以了:
df_f.loc[:,"积分等级"]=pd.cut(df_f.积分,[0,30,40,70],labels=["低","中","高"],right=False) df_f
结果如下:
pd.qcut()也可以对数据进行分箱,那么和pd.cut()相比,pd.qcut()有什么不同呢?
试想一下如果我们有一个很大的数据集,需要对其中一项进行分箱,分箱的依据不是单纯的等宽箱体或者没有确定的分解值,而是按照分位数进行分箱,比如前四分之一的是一个箱体这种要求,用pd.cut()不是不能实现,只是比较麻烦,还要先计算分位数作为分解值。这个时候,pd.qcut()就方便很多了。
先看一下官方文档给出的函数作用:
基于分位数的离散化功能。 将变量离散化为基于等级或样本分位数的相等大小的存储桶。
再来看一下这个函数都包含有哪些参数,主要参数的含义与作用都是什么?
和pd.cut()相比,pd.qcut()的参数少了两个,少了right和include_lowest两个参数,剩下的参数几乎和pd.cut()一模一样了。
pd.qcut(x, q, labels=None, retbins=False, precision=3, duplicates=‘raise’)
x :一维数组或者Serise
q : 表示分位数的整数或者数组,
labels : 数组或者布尔值,默认为none,用于指定每个箱体的标签
rebines :布尔值,可选。 是否显示分箱的分界值。(由于是按照分位数进行分箱,在不知道分位数具体数值的情况下,可以通过这个参数设置显示分界值即分位数的具体数值)
precision:整数,默认3,存储和显示分箱标签的精度。
duplicates:如果分箱临界值不唯一,则引发ValueError或丢弃非唯一
pd.qcut()的参数就是这些了,并不是所有的参数都常用,下边我们通过代码示例来看一下常用参数的应用。
还是用原来的数据集
df_f = pd.read_excel(r"D:\data\football\球队排名比分2019.xlsx") df_f
参数q
参数q控制箱子的个数以及分界值,我们先来探索这个参数:
pd.qcut(df_f.积分,4,labels=["低","中","高","很高"])
q=4表示分成四个箱子,边界值分别为四分位数,四分之二分位数和四分之三分位数,并给每个箱子都指定了标签,看下结果:
0 很高 1 很高 2 很高 3 很高 4 很高 5 高 6 高 7 高 8 高 9 中 10 中 11 中 12 中 13 中 14 中 15 低 16 低 17 低 18 低 19 低 Name: 积分, dtype: category Categories (4, object): [低 < 中 < 高 < 很高]
再通过将q设置成数组看下分类结果是否一致:
pd.qcut(df_f.积分,[0,0.25,0.5,0.75,1],labels=["低","中","高","很高"])
直接设置成四分位数,四分之二分位数和四分之三分位数,看下结果:
0 很高 1 很高 2 很高 3 很高 4 很高 5 高 6 高 7 高 8 高 9 中 10 中 11 中 12 中 13 中 14 中 15 低 16 低 17 低 18 低 19 低 Name: 积分, dtype: category Categories (4, object): [低 < 中 < 高 < 很高]
结果是完全一致的。
温馨提示:不管是pd.cut()还是pd.qcut(),如果直接指定分箱的分界值,即bines和q的取值如果是数字,一定要把每一个箱体的上分界值和下分界值都写上,即每个箱体都是有上下限的,如果分四个箱子参数数组中比如有5个数值才可以。
参数lsbels
探索完q参数我们来看下labels参数,这个参数在介绍pd.cut()时没有具体探讨,其实在两个函数中,labels的作用是一致的,我们在此研究一下,上边例子中labels都指定了标签名字,如果不指定,会有怎样的结果呢?
pd.qcut(df_f.积分,4)
结果如下:
0 (32.5, 61.0] 1 (32.5, 61.0] 2 (32.5, 61.0] 3 (32.5, 61.0] 4 (32.5, 61.0] 5 (28.0, 32.5] 6 (28.0, 32.5] 7 (28.0, 32.5] 8 (28.0, 32.5] 9 (23.5, 28.0] 10 (23.5, 28.0] 11 (23.5, 28.0] 12 (23.5, 28.0] 13 (23.5, 28.0] 14 (23.5, 28.0] 15 (13.999, 23.5] 16 (13.999, 23.5] 17 (13.999, 23.5] 18 (13.999, 23.5] 19 (13.999, 23.5] Name: 积分, dtype: category Categories (4, interval[float64]): [(13.999, 23.5] < (23.5, 28.0] < (28.0, 32.5] < (32.5, 61.0]]
如果不指定labels,也就是说每个箱体都没有名字,那么只好把箱体展现出来,即显示每个箱体的两个临界值,至于要不要设置labels,视情况需求而定哦!
参数rebines
这个参数的作用是显示箱体的分界值:
pd.qcut(df_f.积分,4,labels=["低","中","高","很高"],retbins=True)
查看结果,和上边没有设置这个参数的结果做一下对比就可以发现该参数的作用了:
(0 很高 1 很高 2 很高 3 很高 4 很高 5 高 6 高 7 高 8 高 9 中 10 中 11 中 12 中 13 中 14 中 15 低 16 低 17 低 18 低 19 低 Name: 积分, dtype: category Categories (4, object): [低 < 中 < 高 < 很高], array([14. , 23.5, 28. , 32.5, 61. ]))
最后位置多了一个数组,数组内就是每个箱体的分界值了。
文章开头提到pd.qcut()比pd.cut()少两个参数,少的参数是控制分界值被分到哪个箱子的,按分位数分箱不能控制分界值被分到哪里,显示分界值后能够发现,每个箱体的数值是包含上分界值的。
再看一眼原数据:
其中28是一个第二个箱体的上限,即标签为“中”的箱体,而在分箱的时候,数值为28的球队都被分到了标签为“中”的箱体中,这个小细节可能很容易被忽视掉,这里做一下小提醒。
关于分箱的函数介绍到这里,大家能够区分并根据实际需求灵活运用pd.qcut()和pd.cut()了吗?
小伙伴们还有哪些疑问或者新发现欢迎一起讨论哦!
数据分析咨询请扫描二维码
数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21《Python数据分析极简入门》 第2节 3 Pandas数据查看 这里我们创建一个DataFrame命名为df: importnumpyasnpi ...
2024-11-21越老越吃香的行业主要集中在需要长时间经验积累和专业知识的领域。这些行业通常知识更新换代较慢,因此随着年龄的增长,从业者能 ...
2024-11-20数据导入 使用pandas库的read_csv()函数读取CSV文件或使用read_excel()函数读取Excel文件。 支持处理不同格式数据,可指定分隔 ...
2024-11-20大数据与会计专业是一门结合了大数据分析技术和会计财务理论知识的新型复合型学科,旨在培养能够适应现代会计业务新特征的高层次 ...
2024-11-20要成为一名数据分析师,需要掌握一系列硬技能和软技能。以下是成为数据分析师所需的关键技能: 统计学基础 理解基本的统计概念 ...
2024-11-20是的,Python可以用于数据分析。Python在数据分析领域非常流行,因为它拥有丰富的库和工具,能够高效地处理从数据清洗到可视化的 ...
2024-11-20在这个数据驱动的时代,数据分析师的角色变得愈发不可或缺。他们承担着帮助企业从数据中提取有价值信息的责任,而这些信息可以大 ...
2024-11-20数据分析作为现代信息时代的支柱之一,已经成为各行业不可或缺的工具。无论是在商业、科研还是日常决策中,数据分析都扮演着至关 ...
2024-11-20数字化转型已成为当今商业世界的热点话题。它不仅代表着技术的提升,还涉及企业业务流程、组织结构和文化的深层次变革。理解数字 ...
2024-11-20在现代社会的快速变迁中,选择一个具有长期增长潜力的行业显得至关重要。了解未来发展前景好的行业不仅能帮助我们进行职业选择, ...
2024-11-20统计学专业的就业方向和前景非常广泛且充满机遇。随着大数据、人工智能等技术的快速发展,统计学的重要性进一步凸显,相关人才的 ...
2024-11-20