大数据时代的预测艺术_数据分析师培训
千呼万唤,纳特西尔弗的新书《信号和噪声》终于要在中国上市了。西尔弗的这本书不仅是他之前预测经验的全方位总结,也同时在探索其他领域预测的可行性,比如本书的开篇几章讲的试图还原诸如2008年金融危机、天气预报以及地震等一些失败的预测,这虽然让人觉得有些马后炮的感觉,但西尔弗显然是在为他的理论造势,或者说是在铺垫。所有这些失败都指向一个问题:为什么在这个海量信息的大数据时代,预测还是不可避免的失败?
纳特西尔弗 统计学家、作家和政治网站538.com的创始人。2008年美国大选期间他成功预测出49个州的选举结果,2012年大选期间更是成功预测出全部50个州的选举结果,被称为“神奇小子”。2009年,《时代》周刊将他评选为全球100位最具影响力的人物之一。
由于工作关系,之前不少在美国同行的文章里看到对纳特西尔弗的评价,都对其在数据模型与预测方面的才能赞不绝口。
他也的确是个很有故事的人。从小酷爱数据的他,大学毕业后去毕马威工作四年,期间开始研究网络扑克,随后辞职专心玩网络扑克。再然后他开始研发一套可预测棒球的数据模型,2008年西尔弗利用这套起源于棒球的数据模型几乎成功预测了美国大选结果,当时他在全美50个州选举中,成功预测了49个州的结果。这也使他名声大噪。2012年,西尔弗再上一个台阶,成功预测了美国50个州的大选结果。
互联网对预测与决策的颠覆
我想起最近听到的一些故事,今年微信很火,遇到朋友时免不了要谈谈微信对他们工作的影响。一位身居部门经理职位的朋友A抱怨,从前是部门员工向他们汇报工作,但在公司开通微信群之后,老板、各部门经理以及员工都在这个群里,公司老板对员工的投诉建议非常清楚,这使得这位朋友感到很焦虑,因为他将失去之前信息中介的地位。而另一个朋友B的看法则有所不同,他是一位底层员工,他们公司也开通了微信群,每天大家都在群里讨论公司的事情,有时他们反映的问题马上就得到老板的回应,并迅速解决,于是这位朋友感到微信让公司的决策更加积极和主动。
这件事和预测又有什么关系?从某种意义上说,企业的决策就是对未来的一项预测。企业决策者们通常情况下是站在一种全局的角度去看问题,{CDA数据分析师培训}这得益于传统的企业中心化组织架构,也就是说,企业不同部门分属不同的负责人管理,不同部门的意见和反馈先集中到各自部门领导那里,再通过部门领导反馈给企业老板。这是一种类似于“烟囱式”的汇报结构,于是,摆在CEO或总裁桌上的报告都是经过提炼的数字和问题,决策者们在此基础上做出对企业发展方向的预测。
互联网或微信就彻底颠覆了这一模式。公司所有人都在一个微信群里,任何一个员工反映的问题都会被CEO注意到,公司老板和员工几乎会在同一时间遇到一个问题。诚然,这为公司老板了解基层情况提供了一个非常好的渠道,然而其副作用是,倘若决策者没有全局观,面对一切没有过滤的信息,他还能做出像之前处理来自副总或部门领导精心提取的数据那样处理信息吗?
成功预测的三大准则
尽管去中心化的口号很美好,但现实却很残酷。很多事实也为大数据时代的失败预测提供了某种注脚。在西尔弗的书里,用七章的篇幅,从失败的预测里提炼出三条准则:
首先,必须要有足够的信息,这是一切预测的大前提。如何在预测之前收集足够多的信息就成了预测成功与否的标准,早些年,天气预报一直被人诟病其不够精确,很大程度上还是因为信息太少,导致预测时出现种种偏差。
其次,预测需要一个适当的方法或模型,用来处理第一阶段里收集到的大量信息。
2008年美国金融危机前,就有大量经济学家以及评级机构将信息进行处理后发现,房地产泡沫的危险系数非常高,然而他们因种种原因放过这个结论,如该书里所言:“他们只是不想让“音乐”停下来罢了”,于是就有了这第三个要素:以客观理性的态度对待这些信息以及经过处理后所呈现的数据,譬如在深蓝与卡斯帕罗夫对决中,深蓝就完美诠释了什么是客观与理性,相比而言,卡斯帕罗夫就稍逊一筹,当然你要知道,深蓝只是一台机器。
本书的前7章,涉及政治、经济(金融)、棒球、天气、地震、流行病等多个领域,知识领域跨度之大还是让我们看到了读者的严谨和认真,但本书的精华部分其实是在后半部分。在第八章里,作者抛出了自己预测理论的基础——贝叶斯定理。贝叶斯定理是英国数学家托马斯贝叶斯1763年提出的一个理论,希望通过某种数学的手段,对一件事情发生的可能性进行预测,他也成功地做到了这一点,其定理的核心就是通过已知情况对未知进行预测,而且,相关情况的概率越大,就越有可能预测成功,这和上文提到的三要素有异曲同工之妙。贝叶斯定理如今在投资学中运用得非常广泛,而互联网的很多技术也依赖于贝叶斯定理。
预测的困难性:极客们并不能完全取代球探
尽管贝叶斯定理在预测方面已有非常高的成功率,但作者还是反复强调预测的困难性。我们也可通过成功预测三要素理解作者这样说的原因,你如何保证收集信息的准确性?你如何构建合适的数学模型和工具?你又如何克服预测过程中的私人因素?即使前两个条件都具备,人类自身能摆脱预测中的主观成分吗?这种困难在卡斯帕罗夫对阵深蓝时尤为明显,早在1996年卡氏就曾与深蓝有过交手,当时卡氏以4比2胜出,但这条新闻并未引起多大反响。一年后,改进版的深蓝终于3.5:2.5打败了卡氏。卡斯帕罗夫曾回忆当时他的头脑非常混乱,完全不想比赛。而对手——深蓝,依然保持最冷静的“心态”。无怪乎有媒体赛后称深蓝并没有赢得比赛,而是卡斯帕罗夫输掉了比赛。
在NBA历史上,林书豪或许是球探们最失败的预测之一,当年被八家球队拒绝,好容易进入纽约尼克斯,在默默无闻中开始他的职业生涯,直到某天他才迎来人生第一个机会,并一举成名,这也再次佐证了作者的无奈,的确“统计学使让球运动发生了革命,但计算机极客们并不能完全取代球探。”但如今,这些球探们真的很需要计算机来帮助他们做出预测。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12