数据的局限:大数据分析不能告诉你什么
大数据分析的拥护者竭尽全力地鼓吹“数据驱动”,明智的人应该谨慎对待,并明确两个问题。一,业务人员在制定特定决策时是否真正理解相关数据,是否曾经以实用且可行的方式向管理层展示了这些数据?二,是否所有决策都有必要在收集“所有数据”之后自动完成?
在《认清风险:如何作出好决策》(Risk Savvy: How to Make Good Decisions)中,德国柏林Max Planck人类发展研究所管理主管Gerd Gigerenzer阐述了公共环境中风险测量与决策过程的问题,他的观点同样适用于商业领域。
首先,我们看看Gigerenzer举的一些例子。它们说明了大多数人所获得的统计数据只是很小一部分,而且我们很容易因为数据的不正确性或明显误用而产生错误结论。
在911事件的一年时间里,成千上万的美国人放弃乘坐飞机,转而选择开车长途远行,因为他们害怕遇到相同的袭击。高速公路行驶距离因此增长了5%,而道路交通意外死亡人数在一年里逐月上升,已经超过了过去五年的平均水平。此外,粗略计算有约1,600人丧身交通意外,而航空旅客及空乘人员的伤亡人数只有256人,其中还包括911事件的伤亡数字。
由于对当时伤亡事件产生了主观反应,美国公众完全忽视了有效的统计风险测量结果,即飞机的安全系数要远远高于汽车。
1995年,英国医药安全委员会发布了一系列研究结果,服用第三代口服避孕药的人患血栓症的概率是普通人的两倍。这个研究结果很快传遍全世界。医生与药剂师向妇女传达了由预期结论得出的警告信息:意外怀孕与妊辰激增。接下来的一年时间里,仅仅在英格兰和威尔士流产案例预计增加了13,000人次。
尽管这些专家都经过科学和医学培训,但是他们严重忽视或忽略一个结果:绝对风险数量增加一倍才只有7000人次,也远远不及由怀孕与流产导致的血栓症风险。因此,相同的数据有两种描述方式:一是风险率相对增长100%,二是绝对增长数量为7,000。前者很容易占据新闻头条和引起公众跟风。而后者则不会造成太大影响,但是可能会避免很多痛苦。
Gigerenzer的书还有很多这样的故事,如果你有兴趣了解人们解读数字数据的方式及使用(或不使用)这些数字作为决策依据的方式,那么这本书很值得你阅读。事实是,即使经过科学训练,只有极少数人能够正确理解这个领域。因此,我们缺少区分不同风险表达方式及不确定性的能力,也缺乏一些帮助理解所得到结果的培训。对于世界上的一些概念,我们很容易陷入偏见或先入为主的错误理解方式。
当我们从“少量数据”世界(掌握简单算术就足够应付)过渡到充斥大数据统计的世界时,数据误解产生的危害也出现指数增长。无论自助服务商业智能有多厉害,它们也无法轻松扩展变成自助服务商业分析。业务用户(及许多数据科学家)都需要在理解和展示统计数据方面加强自身的能力。
除了技能问题,还有一个更根本的问题,而911事件关于航空旅行方式的态度改变就是一个最好的例子。我将这种现象称为商业不智能(Business unIntelligence),并且在我的同名图书中提出了这个术语。按照西方商业思维方式,智慧几乎可以完全等同于合理和理智思想,特别是在决策过程中。这忽略了大脑的现实情况及其思维过程,其中有90%的想法是无意识发生的。决策很少是由数据驱动的,特别是那些会对个人产生影响或需要快速响应的决策。
心理学家及诺贝尔经济学奖得主Daniel Kahneman在他写的书《快思考与慢思考》中阐述了这个话题,但是他落入唯理性主义者的圈套,后者认为无意识思维源于有意识思维。这样就得出了一些结论:我们很容易作出一些严重错误且非常容易受外界干扰的决策,而且总是在有意识地保护自己。或者更坏的情况是,一些专制政府可能且总是会“迫使”我们作出一些有利于自身的决策。
当然,自我意识也很重要。然而,如果认为我们新进化的小小前额可以或应该完全超越大多数大脑的长期进化但潜意识发生的感知,那么这是极其短视的。这种感知对于现实世界的决策过程有很多影响——形式包括内在感受、直觉、有根据的揣测和探索,而它们会忽略得到的大部分数据。如果只关注于收集和堆砌不断增多的数据,那么我们就有迷失的风险。
在不确定的世界里,有一些事件是无法预测的,基于数据分析出来的概率只能让人得到一个决策。2008年金融领域发生的事件表明,过份依赖于预测风险模型是灾难性的,因为有一些东西不在模型参数的覆盖范围之内。Gigerenzer指出:“问题在于不正确的风险测量:这些方法错误地假定不确定的世界里有已知的风险。因为这些计算为一个不确定的风险产生了精确的数字,因此它们会产生一个虚假的确定性。”
在决策过程中完全依赖数据驱动或分析工具本身具有内在的危险性。人类决策者所带来的价值是他能够看到环境和理解业务环境。这些洞察力并不能完全由参数来描述。当然,它们也来源于一些信息:思想认识中的旧记忆或新思维模式。但是,它们大多数都基于计算机科学远远无法理解的思维处理模型,计算机还完全无法模拟出思维。这是一个宝贵的东西。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据驱动决策成为商业常态的今天,数据分析师这一职业正迎来前所未有的机遇与挑战。很多希望转行或初入职场的人士不禁询问:数 ...
2024-12-25数据分析师,这一近年来炙手可热的职业,吸引了大量求职者的注意。凭借在大数据时代中的关键作用,数据分析师不仅需要具备处理数 ...
2024-12-25在当今数字化变革的浪潮中,数据分析师这一职业正迎来前所未有的发展机遇。回想我自己初入数据分析行业时,那种既兴奋又略显谨慎 ...
2024-12-25在当今信息爆炸的时代,数据已经像空气一样无处不在,而数据分析则是解锁这些信息宝藏的钥匙。数据分析的过程就像是一次探险,从 ...
2024-12-25在职场上,拍脑袋做决策的时代早已过去。数据分析正在成为每个职场人的核心竞争力,不仅能帮你找到问题,还能提供解决方案,提升 ...
2024-12-24Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19