"为大数据“去魅” ——对《大数据时代》的一点反思
去逛一些大型商场,有时你会发现,啤酒旁边摆放的竟然是尿布。这种做法最先起源于沃尔玛,沃尔玛通过对超市人群购买行为的大量数据分析,发现男性来买啤酒的时候,通常也会买尿布。于是超市将尿布和啤酒摆放在一起出售,从而提高利润。
尿布与啤酒之间的奇妙关联,背后是大量数据的挖掘与分析。这个小小的案例体现的便是一种大数据思维。维克托迈尔舍恩伯格在《大数据时代》提出大数据思 维的三个原则:一、不是因果关系,而是相关性;二、样本=全部不是随即样本,而是全部数据;三、不是精确性,而是混杂性。也就是说,大数据经 由尽可能多的数据挖掘出那些我们平时根本无法察觉到的隐秘联系,轻松地知其然,即使我们完全不知其所以然。
大数据描绘了一个激动人心的未来,也难怪很长一段时间以来,大数据成为最热门的概念之一。人们对大数据的拥趸和美好想象,一方面是我们生活的世界正在 数据化:物联网上,购买行为的数据化;导航时,方位的数据化;微博微信上,沟通的数据化这为大数据时代提供了可能;另一方面,现代社会仍面临 着许多未解的难题,许多跨不过的障碍,人们期冀于大数据能够力挽狂澜,帮助现代人走出困境。
在这样的背景下,大数据正被不断神化。纽约时报专栏作者大卫布鲁克斯《大数据不能做什么?》很难得地发出了不同的声音。他指出大数据的几个缺陷。首 先,大数据擅长于分析关系的数量而非质量,因此它会忽略很多举足轻重的信息。比如社交网络的数据可以分辨出你的6个同事,你一天中有76%的时间会见他 们,却很难发现你一个一年只见两次面的童年伙伴。其次,大数据不懂背景。我们说一句话究竟是认真的还是开玩笑,是为了表达愤怒还是善意,这些要放在具体语 境分析,数据分析很难搞清楚这些。还比如大数据会带来大量毫无意义的伪相关;数据偏爱潮流,忽视创新;原始数据其实并不原始,原始数据往往会被扭曲,等 等。
除此,也有人以为,大数据最大的问题在于,它过分夸大了数据的作用,以为数据越多越好。事实上,我们最大的难题永远都不是如何获取数据,而是如何找到数据 之间的联系,近十年来概率模型应用的规模一再扩大,可准确率却停滞不前这个教训不该被忘记。啤酒与尿布只是最表层数据挖掘,真正的数据处理比谷歌翻译 复杂成千上万倍,但即便谷歌翻译已如此先进,你也别指望它信达雅。一个太平洋是水,加个大西洋也是一样的水,数据规模到达一定程度之后,继续 扩充的意义已经不大,没有发现关联,再多数据也百无一用,混杂性其实就是伪相关。
人人呼唤大数据,就像人人都呼唤要创新、要改革。然而,问题的难度永远在于:如何创新,如何改革。我们需要大数据思维为我们点亮思想的火花,但同时必须正 视寻找数据关联存在的巨大艰难。否则,大数据很容易成为一个空洞的原地打转的话语,徒然给了很多人打了鸡血般的鲁莽和热情,投入大量的人力物力财力,以为 挖到了一座金山,实际却是一堆无用的数据。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
如何构建数据分析整体框架? 要让数据分析发挥其最大效能,建立一个清晰、完善的整体框架至关重要。今天,就让我们一同深入探讨 ...
2024-12-27AI来了,数分人也可以很省力,今天给大家介绍7个AI+数据分析工具,建议收藏。 01酷表 EXCEL 网址:https://chatexcel.com/ 这是 ...
2024-12-26一个好的数据分析模型不仅能使分析具备条理性和逻辑性,而且还更具备结构化和体系化,并保证分析结果的有效性和准确性。好的数据 ...
2024-12-26当下,AI 的发展堪称狂飙猛进。从 ChatGPT 横空出世到各种大语言模型(LLM)接连上线,似乎每个人的朋友圈都在讨论 AI 会不会“ ...
2024-12-26数据分析师这个职业已经成为了职场中的“香饽饽”,无论是互联网公司还是传统行业,都离不开数据支持。想成为一名优秀的数据分析 ...
2024-12-26在数据驱动决策成为商业常态的今天,数据分析师这一职业正迎来前所未有的机遇与挑战。很多希望转行或初入职场的人士不禁询问:数 ...
2024-12-25数据分析师,这一近年来炙手可热的职业,吸引了大量求职者的注意。凭借在大数据时代中的关键作用,数据分析师不仅需要具备处理数 ...
2024-12-25在当今数字化变革的浪潮中,数据分析师这一职业正迎来前所未有的发展机遇。回想我自己初入数据分析行业时,那种既兴奋又略显谨慎 ...
2024-12-25在当今信息爆炸的时代,数据已经像空气一样无处不在,而数据分析则是解锁这些信息宝藏的钥匙。数据分析的过程就像是一次探险,从 ...
2024-12-25在职场上,拍脑袋做决策的时代早已过去。数据分析正在成为每个职场人的核心竞争力,不仅能帮你找到问题,还能提供解决方案,提升 ...
2024-12-24Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19