import pandas as pd
d = np.array([[81, 28, 24, 25, 96],
[ 8, 35, 56, 98, 39],
[13, 39, 55, 36, 3],
[70, 54, 69, 48, 12],
[63, 80, 97, 25, 70]])
df = pd.DataFrame(data = d,
columns=list('abcde'))
df
a | b | c | d | e | |
---|---|---|---|---|---|
0 | 81 | 28 | 24 | 25 | 96 |
1 | 8 | 35 | 56 | 98 | 39 |
2 | 13 | 39 | 55 | 36 | 3 |
3 | 70 | 54 | 69 | 48 | 12 |
4 | 63 | 80 | 97 | 25 | 70 |
聚合计算是指对数据进行汇总和统计的操作。常用的聚合计算方法包括计算均值、求和、最大值、最小值、计数等。
df['a'].mean()
47.0
df['a'].sum()
235
df['a'].max()
81
df['a'].min()
8
df['a'].count()
5
df['a'].median() # 中位数
63.0
df['a'].var() #方差
1154.5
df['a'].skew() # 偏度
-0.45733193928530436
df['a'].kurt() # 峰度
-2.9999915595685325
df['a'].cumsum() # 累计求和
0 81
1 89
2 102
3 172
4 235
Name: a, dtype: int64
df['a'].cumprod() # 累计求积
0 81
1 648
2 8424
3 589680
4 37149840
Name: a, dtype: int64
df['a'].diff() # 差分
0 NaN
1 -73.0
2 5.0
3 57.0
4 -7.0
Name: a, dtype: float64
df['a'].mad() # 平均绝对偏差
29.2
df.sum(axis=0) # 按列求和汇总到最后一行
a 235
b 236
c 301
d 232
e 220
dtype: int64
df.sum(axis=1) # 按行求和汇总到最后一列
0 254
1 236
2 146
3 253
4 335
dtype: int64
df.describe() # 描述性统计
a | b | c | d | e | |
---|---|---|---|---|---|
count | 5.000000 | 5.000000 | 5.000000 | 5.000000 | 5.000000 |
mean | 47.000000 | 47.200000 | 60.200000 | 46.400000 | 44.000000 |
std | 33.977934 | 20.656718 | 26.395075 | 30.369392 | 39.083244 |
min | 8.000000 | 28.000000 | 24.000000 | 25.000000 | 3.000000 |
25% | 13.000000 | 35.000000 | 55.000000 | 25.000000 | 12.000000 |
50% | 63.000000 | 39.000000 | 56.000000 | 36.000000 | 39.000000 |
75% | 70.000000 | 54.000000 | 69.000000 | 48.000000 | 70.000000 |
max | 81.000000 | 80.000000 | 97.000000 | 98.000000 | 96.000000 |
对整个DataFrame批量使用多个聚合函数
df.agg(['sum', 'mean','max','min','median'])
a | b | c | d | e | |
---|---|---|---|---|---|
sum | 235.0 | 236.0 | 301.0 | 232.0 | 220.0 |
mean | 47.0 | 47.2 | 60.2 | 46.4 | 44.0 |
max | 81.0 | 80.0 | 97.0 | 98.0 | 96.0 |
min | 8.0 | 28.0 | 24.0 | 25.0 | 3.0 |
median | 63.0 | 39.0 | 56.0 | 36.0 | 39.0 |
对DataFramed的某些列应用不同的聚合函数
df.agg({'a':['max','min'],'b':['sum','mean'],'c':['median']})
a | b | c | |
---|---|---|---|
max | 81.0 | NaN | NaN |
min | 8.0 | NaN | NaN |
sum | NaN | 236.0 | NaN |
mean | NaN | 47.2 | NaN |
median | NaN | NaN | 56.0 |
注意其中applymap函数在新版已经被弃用,这里的案例是基于pandas=1.3.2写的
在Python中如果想要对数据使用函数,可以借助apply(),applymap(),map()对数据进行转换,括号里面可以是直接函数式,或者自定义函数(def)或者匿名函数(lambda)
1、当我们要对数据框(DataFrame)的数据进行按行或按列操作时用apply()
df.apply(lambda x :x.max()-x.min(),axis=1)
#axis=1,表示按行对数据进行操作
#从下面的结果可以看出,我们使用了apply函数之后,系统自动按行找最大值和最小值计算,每一行输出一个值
0 72
1 90
2 52
3 58
4 72
dtype: int64
df.apply(lambda x :x.max()-x.min(),axis=0)
#默认参数axis=0,表示按列对数据进行操作
#从下面的结果可以看出,我们使用了apply函数之后,系统自动按列找最大值和最小值计算,每一列输出一个值
a 73
b 52
c 73
d 73
e 93
dtype: int64
2、当我们要对数据框(DataFrame)的每一个数据进行操作时用applymap(),返回结果是DataFrame格式
df.applymap(lambda x : 1 if x>60 else 0)
#从下面的结果可以看出,我们使用了applymap函数之后,
#系统自动对每一个数据进行判断,判断之后输出结果
a | b | c | d | e | |
---|---|---|---|---|---|
0 | 1 | 0 | 0 | 0 | 1 |
1 | 0 | 0 | 0 | 1 | 0 |
2 | 0 | 0 | 0 | 0 | 0 |
3 | 1 | 0 | 1 | 0 | 0 |
4 | 1 | 1 | 1 | 0 | 1 |
3、当我们要对Series的每一个数据进行操作时用map()
df['a'].map(lambda x : 1 if x>60 else 0)
0 1
1 0
2 0
3 1
4 1
Name: a, dtype: int64
总结:
apply()
函数可以在DataFrame或Series上应用自定义函数,可以在行或列上进行操作。
applymap()
函数只适用于DataFrame,可以在每个元素上应用自定义函数。
map()
函数只适用于Series,用于将每个元素映射到另一个值。
以上是数学运算部分,包括聚合计算、批量应用聚合函数,以及对Series和DataFrame进行批量映射,接下来我们来看如何对数据进行合并拼接
这里分享一个你一定用得到的小程序——CDA数据分析师考试小程序。 它是专为CDA数据分析认证考试报考打造的一款小程序。可以帮你快速报名考试、查成绩、查证书、查积分,通过该小程序,考生可以享受更便捷的服务。 扫码加入CDA小程序,与圈内考生一同学习、交流、进步!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31本人基本情况: 学校及专业:厦门大学经济学院应用统计 实习经历:快手数据分析、字节数据分析、百度数据分析 Offer情况:北京 ...
2025-01-3001专家简介 徐杨老师,CDA数据科学研究院教研副总监,主要负责CDA认证项目以及机器学习/人工智能类课程的研发与授课,负责过中 ...
2025-01-29持证人简介 郭畅,CDA数据分析师二级持证人,安徽大学毕业,目前就职于徽商银行总行大数据部,两年工作经验,主要参与两项跨部 ...
2025-01-282025年刚开启,知乎上就出现了一个热帖: 2024年突然出现的经济下行,使各行各业都感觉到压力山大。有人说,大环境越来越不好了 ...
2025-01-27在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-01-26数据指标体系 “数据为王”相信大家都听说过。当前,数据信息不再仅仅是传递的媒介,它成为了驱动经济发展的新燃料。对于企业而 ...
2025-01-26在职场中,当你遇到问题的时候,如果感到无从下手,或者抓不到重点,可能是因为你掌握的思维模型不够多。 一个好用的思维模型, ...
2025-01-25俗话说的好“文不如表,表不如图”,图的信息传达效率很高,是数据汇报、数据展示的重要手段。好的数据展示不仅需要有图,还要选 ...
2025-01-24数据分析报告至关重要 一份高质量的数据分析报告不仅能够揭示数据背后的真相,还能为企业决策者提供有价值的洞察和建议。 年薪70 ...
2025-01-24又到一年年终时,各位打工人也迎来了展示成果的关键时刻 —— 年终述职。一份出色的年终述职报告,不仅能全面呈现你的工作价值, ...
2025-01-23“用户旅程分析”概念 用户旅程图又叫做用户体验地图,它是用于描述用户在与产品或服务互动的过程中所经历的各个阶段、触点和情 ...
2025-01-22在竞争激烈的商业世界中,竞品分析对于企业的发展至关重要。今天,我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-22在数据分析领域,Excel作为一种普及率极高且功能强大的工具,无疑为无数专业人士提供了便捷的解决方案。尽管Excel自带了丰富的功 ...
2025-01-17在这个瞬息万变的时代,许多人都在寻找能让他们脱颖而出的职业。而数据分析师,作为大数据和人工智能时代的热门职业,自然吸引了 ...
2025-01-14Python作为一门功能强大的编程语言,已经成为数据分析和可视化领域的重要工具。无论你是数据分析的新手,还是经验丰富的专业人士 ...
2025-01-10完全靠数据决策,真的靠谱吗? 最近几年,“数据驱动”成了商界最火的关键词之一,但靠数据就能走天下?其实不然!那些真正成功 ...
2025-01-09SparkSQL 结构化数据处理流程及原理是什么?Spark SQL 可以使用现有的Hive元存储、SerDes 和 UDF。它可以使用 JDBC/ODB ...
2025-01-09在如今这个信息爆炸的时代,数据已然成为企业的生命线。无论是科技公司还是传统行业,数据分析正在深刻地影响着商业决策以及未来 ...
2025-01-08“数据为王”相信大家都听说过。当前,数据信息不再仅仅是传递的媒介,它成为了驱动经济发展的新燃料。对于企业而言,数据指标体 ...
2025-01-07