数据分析师眼中的数据真相
随着大数据概念的普及和人们对数据价值认识的不断深入,数据分析越来越受到人们的重视,尤其是在企业中,现在很多做销售、市场的企业人员已经开始用数据说话,很多企业也已经开始借助数据进行决策和管理,量化经营的理念正逐步深入人心。与此同时,专业的数据分析师也逐渐进入人们的视野,被评为未来十年最有前途的十大职业之一。
作为一名数据分析师,保持对数据的敏感性是最基本的要求之一,这里所说的数据敏感性不仅是指能够发现隐藏在数据之间的关系和规律,还包括能够辨别数据的真伪。因为随着数据产生量的爆炸式增长,一些假的、有问题的数据也不断出现,这些数据有些是由抽样误差或采集过程引起的,有的则是出于某种目的人为造成的,而且有些错误的数据还非常隐蔽,往往容易被人忽视,从而造成错误的判断甚至因此蒙受巨大的经济损失。作为一名数据分析师,对待这类数据不能人云亦云,需要有自己的认识和理解,要透过数据的表面看背后的真相和存在的问题,下面举几个日常生活中常见的数据案例来说明如何看清数据的真相。
1、失业率
失业率是我们大家都非常熟悉的一个指标,也是政府制定相关政策的一个重要依据。这些年,中国政府一直将失业率控制在4%以下作为一项重要的执政目标,每年也都基本实现了这一目标,然而,以大多数人的感受来说,实际的失业率似乎比4%要大,而且有时候感觉会差很多。那么,到底是什么原因造成了实际统计数据与民众自身感受之间的这种差距呢?要弄清这一问题,我们首先应该看一下失业率的概念和统计方法。
失业率是失业人口占劳动力人口的百分比。世界上大多数国家都采用两种失业统计方法。一种是行政登记失业率,另一种是劳动力抽样调查失业率。两种失业率都是政府决策的重要依据。中国之前一直采用城镇登记失业率来衡量失业情况。城镇登记失业率是指在报告期末城镇登记失业人数占期末城镇从业人员总数与期末实有城镇登记失业人数之和的比重。分子是登记的失业人数,分母是从业的人数与登记失业人数之和。在城镇单位从业人员中,不包括使用的农村劳动力、聘用的离退休人员、港澳台及外方人员。城镇登记失业人员是指有非农业户口,在一定的劳动年龄内(16岁以上及男50岁以下、女45岁以下),有劳动能力,无业而要求就业,并在当地就业服务机构进行求职登记的人员。
由城镇登记失业率的计算方法我们不难看出,一系列限制使得这一指标的代表性大为降低。由于很多真正失业的人不一定去登记,加上农村的农民就业没有包括在里面,而最近几年2.5亿农民工群体已成为一支不容忽视的就业群体,而且随着人们寿命的延长,45到60岁之间的人仍工作在第一线,然而他们却都没有被纳入到城镇登记失业率的统计范围之内,因此实际每年公布的登记失业率数字,比调查失业率要低。这也成为城镇登记失业率饱受诟病的原因,也是造成实际每年公布的失业率与我们每个人的切身感受相差较大的最根本原因。
正是基于城镇登记失业率这些明显的缺陷,中国政府决定,从2011年开始,不再使用“城镇登记失业率”这一指标,而采用“调查失业率”。 2013年9月9日,中国首次向外公开了调查失业率的有关数据。国务院总理李克强在英国《金融时报》发表署名文章《中国将给世界传递持续发展的讯息》透露,“今年以来,中国经济运行稳中有进,上半年GDP同比增长7.6%;5%的调查失业率和2.4%的通胀率,均处于合理、可控范围。”5%的调查失业率,高于此前人社部公布的一二季度均为4.1%的登记失业率,可以说更具有说服力。但这一数据到底是否准确、代表性如何,需要对调查失业率的计算方法、抽样方式、方法、调查范围等深入研究之后才能判断其最终的代表性。
二、死亡率
死亡率的概念大家都不陌生,而且一般也不会产生歧义。但是如果死亡率被用在不恰当的场合,那么同样会出现问题。
以一个经常被引用的故事为例。在美国和西班牙交战期间,美国海军的死亡率是千分之九,而同时期纽约居民的死亡率是千分之十六。后来,海军征兵人员就用这两个死亡率来证明参军更安全。那么,这个结论正确吗?显然是不正确,因为这两个数字根本就是不匹配的,当兵的一般都是身强力壮的年轻人,而居民的死亡率是包括老弱病残等各类人群的一个综合数据,而老弱病残者又是主要的死亡人群构成者,这些人拉抬了整个居民的死亡率。所以正常应该是用同年龄段的海军和纽约居民的死亡率来作对比,从而判断参军是否安全。一般情况下,相同年龄段的海军死亡率应该是高于居民死亡率的。
这一案例说明数据之间要具有匹配性才能进行对比。不具有可比性的数据有时候会很隐蔽。不容易发现,这就需要分析师有更敏锐的观察能力。比如某个零售企业想计算2013年11月前十天的销售比去年同期增长了多少,表面上来看这两个数据是可以直接对比的,有匹配性。实际上对以规律性非常强的零售企业来说,周末对销售的影响是非常大的。翻开日历会发现,2013年11月的1~10日比2012年11月同期多一个“星期天”,这就容易使对比结果出现误差。 因此,对零售企业来说,最好以周来进行对比。
三、离婚率
中国离婚率连年递增,婚外情成婚姻最大杀手,从年龄结构看22~35岁人群是离婚主力军,36~50岁年龄段是婚姻平稳期,50岁以上人群离婚率上扬,从教育背景看,学历高低与离婚率高低成反比,学历越低,离婚率越高,学历越高,离婚率越低。这些结论似乎与我们的日常感受比较吻合,但需要注意的是离婚率的计算公式是否科学合理。现行的离婚率公式是这样的:离婚率=离婚数/结婚总数,乍一看,没有任何问题。以2012年为例,2012年的离婚率就是2012年离婚数除以2012年结婚数?但仔细研究会发现,2012年离婚的人和结婚的人根本就不是一个概念。这样计算的结果容易广大人民群众造成误解!
实际的离婚率计算公式应该是:2002年结婚人群在2012年的离婚率=2002年结婚且2012年离婚总数/2002年的结婚总数。此外,如果我们对2002年结婚人群从2002年开始到2012年为止,每年都计算一个离婚率的话,还可以分析每年的离婚率变化情况,是否真在第七年的时候达到最高值,即通常所说的七年之痒是否真的存在。
与离婚率的概念类似,很多零售企业每个月都会计算的退货率,也需要分门别类才能正确的计算出来的。
以上仅仅列举了几个日常生活中常见指标的数据陷阱问题,实际生活中这样的例子还有很多。有时候是数据的确有错误,有时候数据虽然正确,但计算方法或者使用场合不正确,或者对比不匹配,同样会误导我们。因此,虽然我们不能每个人都成为数据分析师,但多尝试从数据背后看问题,多培养数据敏感性,仍然会使我们获益匪浅。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10