上一篇介绍了数据的分类、统计学是什么、以及统计学知识的大分类,本篇我们重点学习描述性统计学。
我们描述一组数据的时候,通常分三个方面描述:集中趋势、离散趋势、分布形状。通俗来说,集中趋势是描述数据集中在什么位置,离散趋势描述的是数据分散的程度,分布形状描述的是数据形状。
首先,来看描述数据的集中趋势,使用的三个常见的统计量:
Excel求算术平均数的函数=AVERAGE(A1:A8)
PS:聪明的你肯定知道把上面8个数据
2,23,4,17,12,12,13,16
,用左手复制到你Excel中的A1:A8单元格(记得竖着放!)
用Python求算术平均数
## 使用 numpy 库里的 mean 函数
import numpy as np
data = [2,23,4,17,12,12,13,16]
print(np.mean(data))
# 12.375
Excel求几何平均数的函数=GEOMEAN(A1:A8)
用Python求几何平均数
# 使用 scipy 库里的 gmean 函数求几何平均数
from scipy import stats as sts
data = [2,23,4,17,12,12,13,16]
print(sts.gmean(data))
# 9.918855683110795
n个数的倒数的算术平均数的倒数
Excel求调和平均数的函数=HARMEAN(A1:A8)
Python求调和平均数
# 使用 scipy 库里的 hmean 函数求调和平均数
from scipy import stats as sts
data = [2,23,4,17,12,12,13,16]
print(sts.hmean(data))
# 6.906127821278071
还没看晕吧?我们小结一下,三者的大小排序一般是算术平均值 ≥ 几何平均值 ≥ 调和平均值
。另外
数值类数据的均值一般用算术平均值,比例型数据的均值一般用几何平均值,平均速度一般用调和平均数
中位数是把数据按照顺序排列,处于中间位置的那个数
Excel求中位数的函数=MEDIAN(A1:A8)
Python求中位数
# 使用 numpy 库里的 median 函数求中位数
import numpy as np
data = [2,23,4,17,12,12,13,16]
print(np.median(data))
# 12.5
众数是一组数据中出现次数最多的变量值。
Excel求众数的函数=MODE(A1:A8)
Python求众数
# 使用 scipy 库里的 mode 函数求众数
from scipy import stats as sts
data = [2,23,4,17,12,12,13,16]
print(sts.mode(data))
# ModeResult(mode=array([12]), count=array([2]))
以上便是描述数据集中趋势的几个统计量,接下来我们来看描述数据离散趋势的统计量:
四分位数用3个分位数,将数据等分成4个部分。这3个四分位数,分别位于这组数据升序排序后的25%、50%和75%的位置上。另外,75%分位数与25%分位数的差叫做四分位距。
Excel求分位数的函数=QUARTILE(A1:A8,1)
,括号里面的参数:0代表最小值,1代表25%分位数,2代表50%分位数,3代表75%分位数,4代表最大值,
Python求该组数据的下四分位数与上四分位数
from scipy import stats as sts
data = [2,23,4,17,12,12,13,16]
print(sts.scoreatpercentile(data,25)) #25分位数
print(sts.scoreatpercentile(data,75)) #75分位数
10.0
16.25
补充一点,关于描述性统计部分的图表可视化,本系列教程不做展开,唯一值得一提的是箱线图,不论是描述数据、还是判断异常都是你应该掌握的数据分析利器(在第8节案例8.2中会详细举例说明)这里先简单举例如下
用四分位数绘制的箱线图
import seaborn as sns
data = [2,23,4,17,12,12,13,16]
# 使用sns.boxplot()函数绘制箱线图
sns.boxplot(data=data)
箱线图可以很直观地看到:数据的最大值、最小值、以及大部分数据集中在什么区间。
具体来说就是:
异常值、上边缘 Q3+1.5(Q3-Q1)
、上四分位数 Q3
、中位数 Q2
下四分位数 Q1
、下边缘 Q1-1.5(Q3-Q1)
极差又称范围误差或全距,是指一组数据中最大值与最小值的差
Excel求极差的函数=MAX(A1:A8) - MIN(A1:A8)
Python 求极差
import numpy as np
data = [2,23,4,17,12,12,13,16]
print(np.ptp(data))
# 21
四分位距是上四分位数与下四分位数之差,一般用表示
Excel求分位数的函数=QUARTILE(A1:A8,3)-QUARTILE(A1:A8,1)
Python 求四分位距
from scipy import stats as sts
data = [2,23,4,17,12,12,13,16]
print(sts.scoreatpercentile(data,75)-sts.scoreatpercentile(data,25))
# 6.25
方差是一组数据中的各数据值与该组数据算术平均数之差的平方的算术平均数。
Excel求方差的函数=VAR(A1:A8)
Python求方差
from scipy import stats as sts
data = [2,23,4,17,12,12,13,16]
print(sts.tvar(data,ddof = 1))# ddof=1时,分母为n-1;ddof=0时,分母为n
#46.55357142857143
标准差为方差的开方。总体标准差常用σ表示,样本标准差常用S表示。
Excel求方差的函数=STDEV(A1:A8)
Python求标准差:
from scipy import stats as sts
data = [2,23,4,17,12,12,13,16]
print(sts.tstd(data,ddof = 1))# ddof=1时,分母为n-1;ddof=0时,分母为n
# 6.823017765517794
对不同变量或不同数组的离散程度进行比较时,如果它们的平均水平和计量单位都相同,才能利用上述指标进行分析,否则需利用变异系数来比较它们的离散程度。
变异系数又称为离散系数,是一组数据中的极差、四分位差或标准差等离散指标与算术平均数的比率。
Excel求变异系数的函数=STDEV(A1:A8)/AVERAGE(A1:A8)
Python求标准差变异系数:
from scipy import stats as sts
data = [2,23,4,17,12,12,13,16]
print(sts.tstd(data)/sts.tmean(data))
# 0.5513549709509329
看完了描述数据离散程度的几个统计量,我们接着看描述数据分布形状的偏度和峰度:
偏度系数是对分布偏斜程度的测度,通常用SK表示。偏度衡量随机变量概率分布的不对称性,是相对于平均值不对称程度的度量。
当偏度系数为正值时,表示正偏离差数值较大,可以判断为正偏态或右偏态;反之,当偏度系数为负值时,表示负偏离差数值较大,可以判断为负偏态或左偏态。偏度系数的绝对值越大,表示偏斜的程度就越大。
Excel求偏度的函数=SKEW(A1:A8)
Python如何求偏度:
from scipy import stats as sts
data = [2,23,4,17,12,12,13,16]
print(sts.skew(data,bias=False)) # bias=False 代表计算的是总体偏度,bias=True 代表计算的是样本偏度
# -0.21470003988916822
峰度描述的是分布集中趋势高峰的形态,通常与标准正态分布相比较。在归一化到同一方差时,若分布的形状比标准正态分布更“瘦”、更“高”,则称为尖峰分布;若比标准正态分布更“矮”、更“胖”,则称为平峰分布。
峰度系数是对分布峰度的测度,通常用K表示:
由于标准正态分布的峰度系数为0,所以当峰度系数大于0时为尖峰分布,当峰度系数小于0时为平峰分布。
Excel求峰度的函数
=KURT(A1:A8)
Python如何求峰度:
from scipy import stats as sts
data = [2,23,4,17,12,12,13,16]
print(sts.kurtosis(data,bias=False)) # bias=False 代表计算的是总体峰度,bias=True 代表计算的是样本峰度
# -0.17282884047242897
这里分享一个你一定用得到的小程序——CDA数据分析师考试小程序。 它是专为CDA数据分析认证考试报考打造的一款小程序。可以帮你快速报名考试、查成绩、查证书、查积分,通过该小程序,考生可以享受更便捷的服务。 扫码加入CDA小程序,与圈内考生一同学习、交流、进步!
数据分析咨询请扫描二维码
在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17数据分析,是一项通过科学方法处理数据以获取洞察并支持决策的艺术。无论是在商业环境中提升业绩,还是在科研领域推动创新,数据 ...
2024-12-17在数据分析领域,图表是我们表达数据故事的重要工具。它们不仅让数据变得更加直观,也帮助我们更好地理解数据中的趋势和模式。相 ...
2024-12-16在当今社会,我们身处着一个飞速发展、变化迅猛的时代。不同行业在科技进步、市场需求和政策支持的推动下蓬勃发展,呈现出令人瞩 ...
2024-12-16在现代商业世界中,数据分析师扮演着至关重要的角色。他们通过解析海量数据,为企业战略决策提供有力支持。要有效完成这项任务, ...
2024-12-16在当今数据爆炸的时代,数据分析师是组织中不可或缺的导航者。他们通过从大量数据中提取可操作的洞察力,帮助企业在竞争激烈的市 ...
2024-12-16