基本描述数据汇总的图形显示
除了在大部分统计或图形数据表示软件包中使用的条形图、饼图和线图之外,还有一些常用的图用于显示数据汇总和分布,包括直方图、分位数图、q-q图、散布图和局部回归(loess)曲线。对于数据的直观观察,这些图是非常有帮助的。
画直方图(或频率直方图)是一种概括给定属性分布的图形方法。属性A的直方图将A的数据分布划分成不相交的子集或桶。通常,每个桶的宽度是一致的。每个桶用一个矩形表示,其高度等于桶中的值计数或相对频率。如果A是分类的,如车型或商品类型,则对A的每个已知值画一个矩形,而结果图更多地称作条形图。如果A是数值的,更多地使用术语直方图。对于数值属性,构造直方图的划分规则在2.5.4节讨论。例如,在等宽的直方图中,每个桶代表数值属性A的等宽值域。
表2-1 AllElectronics的一个分店销售的商品单价数据集
图2-4显示表2-1中数据的直方图,其中,桶定义成等宽的,代表增量20美元,而频率是商品的销售数量。直方图至少有一个世纪了,是一种广泛使用的单变量图形方法。然而,对于比较单变量观测组,它可能不如分位数图、q-q图和盒图方法有效。
图2-4 表2-1中数据集的直方图
分位数图(quantile plot)是一种观察单变量数据分布的简单有效方法。首先,它显示给定属性的所有数据(允许用户评估总的情况和不寻常的出现)。其次,它绘出了分位数信息。
这一步使用的机制与2.2.2节讨论的百分位数计算稍微有点不同。设xi (i = 1, ., N)是按递增序排序的数据,使得x1是最小的观测值,而xN是最大的。每个观测值xi与一个百分数fi配对,指出大约100fi%的数据小于或等于xi。我们说“大约”,因为可能没有一个精确的小数值fi,使得数据的fi%小于或等于xi。注意,0.25分位数对应于四分位数Q1,0.50分位数对应于中位数,而0.75分位数对应于Q3。令
这些数由1/2N(稍大于0)到1-1/2N(稍小于1),以相同的步长1/N递增。在分位数图中,xi 对着fi画出。这使得我们可以基于分位数比较不同的分布。例如,给定两个不同时间段销售数据的分位数图,我们一眼就可以比较它们的Q1,中位数,Q3,以及其他fi值。图2-5显示了表2-1单价数据的分位数图。
图2-5 表2-1单价数据的分位数图
分位数-分位数图或q-q图对着另一个对应的分位数,绘制一个单变量分布的分位数。它是一种强有力的可视化工具,使得用户可以观察从一个分布到另一个是否有移位。
假定对于变量单价有两个观测集,取自两个不同的分店。设x1, ., xN是取自第一个分店的数据,y1, ., yM是取自第二个分店的数据,每组数据都按递增序排序。如果M = N(即每个集合中的点数相等),则我们简单地对着xi画yi,其中yi和xi都是各自数据集的第(i-0.5) / N个分位数。如果M < N(即第二个分店的观测值比第一个少),则可能只有M个点在q-q图中。这里,yi是y数据的第(i-0.5) / M个分位数,对着x数据的第(i-0.5) / M个分位数画。在典型情况下,该计算涉及插值。
图2-6显示在给定的时间段,AllElectronics的两个不同分店销售的商品单价数据的分位数分位数图。每个点对应于每个数据集的相同的分位数,并显示分店1与分店2相对的销售商品单价。例如,左下角的最低点对应于分位数0.03。(为帮助比较,我们也画了一条直线,代表对于给定的分位数,两个分店的单价相同的情况。此外,加黑的点分别对应于Q1、中位数和Q3。)我们看到,在分位数0.03,分店1销售的商品单价比分店2稍低。换言之,在分店1销售
的商品3%低于或等于40美元,而在分店2销售的商品3%低于或等于42美元。在最高分位数,我们看到分店2的商品单价稍微低于分店1。一般地,我们注意到分店1的分布相对于分店2有一个移位,分店1销售的商品单价趋向于比分店2低。
散布图(scatter plot)是确定两个数值属性之间看上去是否有联系、模式或趋势的最有效的图形方法之一。为构造散布图,每个值对视为一个代数坐标对,并作为一个点画在平面上。图2-7 显示表2-1中数据集的散布图。散布图是一种观察双变量数据有用的方法,用于观察点的簇和离群点,或考察相关联系的可能性。在图2-8中,我们看到两个不同数据集中两个属性之间的正相关和负相关的例子。图2-9显示了三种情况,每个数据集的两个属性之间都不存在相关联系。
图2-6 两个不同分店的单价数据的分位数-分位数图
图2-7 表2-1中数据的散布图
图2-8 散布图可以用来发现属性之间的a)正相关或b)负相关
图2-9 三种情况,其中每个数据集中两个属性之间都不存在观察到的相关
图2-10 表2-1中数据集的loess曲线
在处理多个属性时,散布图矩阵(scatter-plot matrix)是散布图的一种有用的扩充。给定n个属性,散布图矩阵是散布图的n×n栅格,提供每个属性(或维)与每个其他属性的可视化表示。随着所研究的属性数量增加,散布图的有效性降低。在这种情况下,用必要进行诸如放大(zooming)和摇动(panning)等用户交互操作,帮助有效地解释单个散布图。
loess曲线是另一种重要的图形探查工具,它添加一条光滑曲线到散布图,以便更好地理解依赖模式。loess一词是“局部回归”(local regression)的缩写。图2-10显示表2-1中数据集的loess曲线。
为了拟合loess曲线,需要设置两个参数—光滑参数α,被回归拟合的多项式的次数λ。α可以是正数(典型值在1/4~1之间),而λ可以是1或2。选择α的目的是产生一个拟合,它尽59 ~可能光滑,而不过分破坏数据中潜在的模式。曲线随α增大而变得更光滑。然而,可能出现拟60 合不足,表明可能“丢失”数据模式。如果α太小,跟踪了潜在的模式,但可能过分拟合数据,曲线中的局部“摆动”可能不被数据支持。如果数据的潜在模式具有“温和的”曲率,而没有局部极大和极小,则局部线性拟合通常就足够了(λ = 1)。然而,如果存在局部极大和极小,则二次拟合(λ = 2)一般做得更好,它遵循数据模式并且保持局部光滑性。
总而言之,描述性数据汇总提供了数据总体行为的有价值的洞察。通过帮助识别噪声和离群点,它们对于数据清理特别有用。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13