大数据的陷阱_数据分析师-CDA数据分析师官网

大数据的陷阱_数据分析师

2014-12-13

大数据的陷阱_数据分析师

李娜再度夺得大满贯，超越了张德培的华人大满贯纪录，非举国体制下的奇迹造就了举国的愉悦。在总结李娜成功因素的时候，也再次看到了这样的言论，“是大数据起到了重要的作用”。早在2013年美网期间，就有媒体说大数据深度介入赛事、颠覆体育的时代来临了。但在仔细看过了相关材料后，我们发现，大数据的作用仅仅是囿于赛事的外围，比如观众体验；并不能够轻易得出大数据在提升球员自身比赛能力方面会发挥显著效果的结论。这次李娜夺冠，最靠谱的解释就是李娜在卡洛斯的帮助下提大大提升了心理层面的战斗力。可以说在技术层面领先的前提下，李娜在整场比赛中很好地克服了节奏的问题，也就是说她具备了一颗冠军的心脏。

而目前所说的大数据，无非是告诉球员一些不算具体的技术指标。在个人竞技比赛中，高手之间心理素质的较量远远重要于技术的比拼，否则也不会有“爆冷”一说。可以说，体育比赛的最大魅力就在于那些无法预知的“黑天鹅”。

2012年9月6日，代表亚洲网球至高水平的中国选手李娜在美国迎战名将小威廉姆斯。当时，IBM公司在综合了美网过去8年的全部比赛数据之后，为参赛球员制定了“Keys to the match”的比赛制胜策略。李娜一方获得赢球的关键包括3个指标：1、一发得分率超过69%；2、4-9拍相持中得分利率要超过48%；3、发球局30-30或40-40时得分率要超过67%。

比赛结果是，李娜溃败。比赛结束后，IBM高调地宣布李娜仅仅完成了三项制胜策略中的一项，而小威廉姆斯则完成了自己三项制胜策略中的两项。

于是，很多人就顺着IBM的思路去问，李娜为什么不照着IBM的策略去打球？

美国著名的博客纳特·西尔弗在《信号与噪音》中提出了一个命题，数据究竟是对于我们的未来有所帮助的信号，还是毫无意义的噪音。西尔弗成名于奥巴马选举期间。当时，奥巴马和罗姆尼的选战正在胶着，人们都看不出来谁有可能获胜。西尔弗用棒球的统计方法得出结论，奥巴马必胜。这一准确预测让他名声大噪。但是，西尔弗很快就开始反思，利用大数据获得成功预测的案例远没有失败的多。为何？

为什么911的时候，美国政府会忽视将要有恐怖袭击的信息，就像当年的珍珠港事件一样？为什么握有大量数据的经济学家预测不出来经济危机？为什么美国职业棒球大联盟中，球探依然无法被数据所取代？

西尔弗在书中写到：
“自从有了印刷机，我们的世界已经经历太多。信息不再那么稀有，我们拥有的信息太多，甚至多到无从下手，但是用的信息却寥寥无几。我们主观地、有选择地看待信息，但对信息的曲解却关注不够。我们以为自己需要信息，但其实我们真正需要的是知识。”

西尔弗的话已经说得很清楚，人的主观愿望是决定看到信号还是听到噪音的关键因素。当美国情报部门收到种种美国即将遭到恐怖袭击的信号时，他们并没有采用相关性思维将其联系起来。2010年，一位民主党议员给西尔弗打电话，让他告之自己能否保住席位。西尔弗说你有99%的机会，你应该把自己的竞选基金捐献给民主党相对弱势的地区，可是，这位议员并不愿意为了1%的风险去帮助别的议员。

当当事人的主观愿望不积极的时候，大数据对他们来说不过是噪音而已。同样，数据也会因为主观意愿具有欺骗性。《赌神》中，周润发扮演的赌神一直有一个转戒指的习惯。对手通过观看大量的录像发现了这一动作，并认定当赌神转动戒指的时候，就是他出千的时机。结果，在一场生死之战中，赌神欺骗了所有人。他在转动戒指后并没有出千，结果导致对手崩溃。如果按照今天的观点来看，对手在进行数据分析的时候，过于强调了直接的因果性，模型中缺少了变量。这个最大的变量就是当事人的心理状态。

这也是西尔弗一再强调的。西尔弗是美国本土知名的棒球统计专家，他打造的PECOTA系统被认为是最权威的棒球比赛统计工具。就在《点球成金》一书在美国大红大紫之后，球探这个职业一度陷入低谷，各个球队都疯狂地迷恋上了数据。然而，西尔弗认为事实证明，球探最后还是击败了数据。

数据系统的判断依赖的是历史数据，而球探除了依赖历史之外，还要依赖于现场判断。西尔弗举了红袜队明星佩德罗亚的例子。他说数据系统告诉自己，佩德罗亚会是很有潜力的新星。事情的发展也如他所料，但是当西尔弗靠近佩德罗亚的时候，才发现，佩德罗亚坚定的信念和专注力才是决定他在场上可以出色发挥的关键。而这两点，都是数据系统无法感知的。

说回到IBM为大满贯球员打造的制胜策略上。在和几位国内资深的网球评论员交流之后，发现大家对这个所谓的大数据系统除了觉得好玩之外，并没有实用的价值。首先，这套系统不能预测。其次，这种依赖于历史数据得出来的结论，早已被球员的教练团队烂熟于胸。对于李娜来说，教练员的任务不是把这些数据告诉她以便进行针对性训练，而是侧重于心理辅导。

而且，若要IBM为李娜设定的三个指标都达标的话，需要两大因素支持。首先是李娜的临场心理状态。打球不比下棋，想到的可能做不到。其次，在于对手的压迫程度。面对小威这样的力量型选手时，李娜的发挥空间会被大大压缩。而这两大因素又是紧密联系在一起的。

我们很多时候都会被误导，认为大数据的作用是让历史告诉未来。不然。甚至在网球这样的领域里，历史数据常常会成为陷阱。大数据之大，一方面在于原始数据库的规模之大，更在于实时流动量之大、数据来源之大。就像西尔弗所言，一个好的棒球预测系统必须具备三大要素：考虑球员表现的外在因素；区别看待运气和技术因素；了解球员的表现和年龄变化之间的关系。

有意思的是，在另一场女子网球比赛中，一位球员做到了IBM为其制定的三项指标中的两个，她却失败了。胜利的一方，只完成了一个指标。

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

大数据数据分析

数据分析咨询请扫描二维码

上一篇不关注人性的大数据，只是大忽悠_数据分析师

下一篇宝洁中国、阿里巴巴消费者洞察与大数据对话_数据分析师

大数据的陷阱_数据分析师

CDA考试动态

CDA报考指南

热门栏目

最新资讯

数据分析需要学哪些方面

数据分析适合在什么单位工作

数据分析是什么工作内容

数据分析师需要掌握什么技能

数据开发和数据分析区别

数据架构师是干什么的

数据分析师需要具备的能力

数据分析师需要具备的技能有哪些

数据分析师需要具备的技能和能力

数据分析师的发展前景

数据分析师教程《Python数据分析极简入门》第2节 4 ...

数据分析师的工作内容是什么

数据分析师必须掌握的技能有哪些

数据分析入门难吗

数据分析能干啥

数据分析行业的前景

数据分析的常用方法

什么是企业数字化转型

女生做数据分析师最好去哪个行业

大数据技术专业学什么