我所理解的统计思维
美国著名的小说家Mark Twain(马克吐温)在1907年的自传里,引用了曾任英国首相的Benjamin Disraeli的一段话:
There are three kinds of lies: lies, damned lies, and statistics.
由于Mark Twain的高知名度,这句话因他说了之后,便广为流传了。
大家都学过多年数学,对于为什么要学数学,原因之一当然是生活上,及专业上,会用到一些数学,也就是数学可视为一种工具。而一个数学精通的人,则往往具有逻辑性强,计算精准等特征。那么统计学呢?
统计学现在一方面越来越重要,人们在做决策时,非有统计不可,把统计当护身符。同时也有像Mark Twain这样的对统计嗤之以鼻。即使在学术界,不少人也都认为统计不过就是数学的一部分而已;但更多的统计学家则认为并一再强调,统计与数学是完全不一样的。
我们可能比较容易感受到什么是具有经济头脑,什么是具有文学细胞,以及什么是具有音乐素养。那什么是具有统计头脑?统计细胞?以及统计素养呢?就不易讲得明白了。这篇文章就试图通过阐释统计思维的方式,来谈谈上述几个问题。
1、正确理解统计思维的重要性
让我们先来看一个例子。1985年11月,一位美国学者Gary Taylor在英国牛津大学的一图书馆找到了一首诗(姑且称为“Taylor诗”好了),引发了一场英美研究莎士比亚文学作品的学者们的口水大战,争论的焦点就是此诗是否为莎士比亚所作。
不少专家认为这首“Taylor诗”,不论是用字遣词,还是韵味风格,都迥异于莎士比亚其他作品。论战两个月后,1986年1月24日出版的Science 杂志刊登了一篇“莎士比亚的新诗:向统计学致敬”(Shakespeare's new poem: an ode to statistics)的文章,介绍两位统计学者Efron与Thisted如何以统计方法鉴定这首“Taylor诗”是否为莎士比亚所作的过程。
Efron与Thisted的方法是这样的:每个人都有其各自的用字习惯,特别是对于生僻字,每个作者使用的习惯差异可能更大。在莎士比亚已知的总作品中,共有884,647个字,其中有31,534个相异字。这些相异字中,有14,376个字从头到尾只出现过1次,有4,343个字只出现2次。出现几次的字都被计算出来。那些在总作品中, 出现频率较低的,就是莎士比亚的生僻字。依据这些数据,假设这首共429个字的“Taylor诗”为莎士比亚所写,他们估计会有几个字,在总作品中从未出现(也就是新字),只出现1次,2次, ……,一直到曾出现99次,都给出估计值。实际情况与估计非常吻合。
这样做还不够,会不会当时代的诗人用字习惯都差不多?于是,两人又找了三位大致与莎士比亚同时代的诗人,各取其一首诗,及另取四首莎士比亚的诗,与这首泰勒诗做比较。经过3种统计检定发现对前三首,若假设为莎士比亚的作品,罕用字出现次数之实际值与估计值皆不吻合。而所挑选的四首莎士比亚的诗,虽偶有不合,但总的来说是可接受的。Efron及Thisted说,他们的分析并无法完全证明“Taylor诗”为莎士比亚所写,但在罕用字之使用情况,如此与莎士比亚的总作品吻合,确实令人惊讶。
一场文学上的争论,经统计学家发声后迅速平息,难怪要向统计学致敬了。运用统计方法来做决策,反映的是一种客观及合理的思维。与其主观的争论风格相同否,还不如以客观的统计方法来判定。但如何才算已经够客观?除了只检验“Taylor诗”外,Efron和Thisted还拿了几位与莎士比亚同时代的诗人来比较,这样做就更保险了。免得万一莎士比亚那个时期的诗人,有如时尚般,生僻字之使用习惯类似,则此检定就没有什么参考价值了。
统计正如我们的思维,客观至上,否则便是自欺欺人。反之我们的思维若是统计式的,便是极客观的。
英国剑桥大学教授苏斯伦德(William J. Sutherland)等2013年在《自然》杂志上发表了一篇名为“解读科学观点时应该知道的20个事实”的文章,阅后发现其中提到的科学事实都与统计思维有关。
现代科学研究中统计学是最重要的工具之一,英国著名生物学家高尔顿曾说过:“统计学具有处理复杂问题的非凡能力,当科学的探索者在前进的过程中荆棘载途时,唯有统计学可以帮助他们打开一条通道。”运用科学研究结论辅助现实决策时,须具备良好的统计思维,才能对科学结论保持清晰认识,更准确地解读结论背后的科学真相。
大数据时代从信息不足转变为信息泛滥,信息匮乏的危机让位给信息甄别的困难,如此背景下科学方法成为每个人的必修课。在日益依赖数据的今天,树立正确的统计思维,才能有效地开展数据处理与分析。当今世界正步入信息爆炸的大数据时代,统计越显重要,验证了英国科幻小说作家H·G·威尔斯的预言:“统计思维总有一天会像读写一样,成为一个有效率公民的必备能力。”
统计学被广泛应用于各门学科之中,从自然科学到人文社会科学,甚至是工商业及政府的情报决策。作为认识自然、社会的工具和手段,统计研究客观现象的数量关系,帮助政策制定者理解科研证据对决策的作用。正如现代统计学的奠基人费歇尔所讲:“给20世纪带来了人类进步的独特方面是统计学,统计学的普遍存在以及在开拓新知识领域方面的应用已远远超过20世纪内的任何技术或科学发明。”
马寅初曾说:“学者不能离开统计而究学,实业家不能离开统计而执业,政治家不能离开统计而施政。”统计思维是在获取数据、从数据中提取信息、论证结论可靠性等过程中表现出来的一种思维模式,对于人类提高认知起到巨大的作用。无论是解开自然奥秘的科学调查,或是考查早期匿名文学作品的作者、给出考古文物的时间年表,或是解决法庭争端以及做出最佳决策等,统计思维都起到不可替代的重要作用。
统计学是一种由经验到理性的认识,是一种运用偶然发现规律的科学。它不只是一种方法或技术,还含有世界观的成分——看待世界上万千事物的一种方法,人们常讲某事从统计角度看如何,指的就是这个意思。统计思维的养成不但需要学习一些具体的指示,还要能够从发展的眼光,把这些指示连缀成一个有机的、清晰的图景,获得一种历史的厚重感。正如德国的斯勒兹曾讲道“统计是动态的历史,历史是静态的统计。”
从统计学的角度看,人们从经验或实验中所获取的知识是含有不确定性的,统计关注的是这种知识当中所含不确定性的度量问题,一旦能得到不确定性的量度,人们的知识就得到扩充,对世界的认知就朝前跨越,这个过程在人类知识积累的进程中不断重复。难怪有人总结道:
在终极的分析中,一切知识都是历史:我们现在拥有的知识都是对过去发现的事物的归纳总结以及衍生;
在抽象的意义下,一切科学都是数学:所有的知识都可以归纳为对数学的推理和运算;
在理性的基础上,所有的判断都源于统计学:所有的判断都是对过去的规律总结,也就是说,根据过往的数据简历概率模型,判断未来的趋势。
2、什么是统计思维及其常见方式
首先我们来看看,统计学究竟在做些什么?
从随机性中寻找规律性,是统计的基本思想,也是统计的魅力所在。
简单来说,统计学里所表达的两个核心理念就是:
允许误差下的概率保证;
允许误差下的统计推断。
我们在中学里面所学到的知识探讨的多半是必然性的问题。当它说1就是1,不会有任何误差。而一个命题一旦被证明是对的,问题就会一直对下去,不会有例外,除非你能找出证明的漏洞。而在统计学里面,则是处处存在随机性问题。它允许有误差,没有误差反令人怀疑其中有假。统计也会对一个问题拍胸脯保证,但它的保证都是基于概率形式的。而且所能保证的概率,不但不是百分之百,而且还附有误差。统计里则处处是“说不准”。例如,宣称某饮料的容量有百分之九十五的概率介于425毫升至431毫升之间,就是一典型的统计上的保证。统计代表了一种我们看待这个世界的方式。
在随机的世界中,真相往往难以大白,一切都是假设,就看你愿意接受哪一个。而接受的含义,就如同在婚礼上,当新娘点头说“我愿意”,并不表示这位新郎就真正是最适合她的。只不过是“目前她愿意接受”。同样地,在统计里接受不表示为真,拒绝也不表示为伪。统计学家的判定,都会给出误差,是一种允许误差下的统计推断。
概率和误差,构成了统计思维的两大支柱。并发展出统计学里几乎所着的关键要点。
统计学里的方法,和人们的思维方式有一定的对应关系。下面我们就来列举下统计学中常见的思维方式。
(1)要有善于利用数据的思维
“ Data! Data!Data! ” he cried impatiently. “ I can’t make bricks without clay. ” 这是著名小说中福尔摩斯(Sherlock Holmes)说过的一句话。
没有规矩不成方圆,没有黏土不成砖墙,没有数据则无法决策。
福尔摩斯可以依命案现场的一些蛛丝马迹,推测凶嫌可能惯用左手,或可能经过一片果园。算命看相者,所仰赖的也是资料。收集很多不同的面相及八字等的命运,当“阅人多矣”后,自然容易依据人的面相等,分析其前程。那些善于看透人性者,不也是阅人多矣吗?做决策要有数据,每一项数据,都可能是有用的信息。统计学家的本事要能发挥,就得善用信息。因此对于统计学家,数据有如老鼠所爱之大米。
(2)要有善于捕捉不确定性的思维
宇宙的运转,有必然性与随机性交错着进行。例如,我们知道哈雷慧星每76年接近地球一次(这是必然性)。虽然我们能知道76年后的事,但明天会不会下雨?就不是那么确定了(随机性)。又如,将手上的硬币松开,在中学物理课程里学过,如果忽略空气阻力,则在高度固定下,硬币落地所需时间,是个定值。但落地后那一面朝上?就无法预知了。这就是不确定性。
人们对未来,知道大致会发生哪些事,以及何发生,但又不能完全掌握。在随机世界里,必然性使人们愿意事先好好准备,而不确定性则使人们对未来,充满着盼望或者恐惧。光有必然性的世界,亳无变化,则对未来缺乏盼望,会让人们丧失努力的动力。而光有随机性的世界,只靠运气,将让人失去积极认真向上的决心。三分天注定,五分靠打拼,两分靠运气。这是造物者伟大的设计。
由于不确定性的存在,我们所能做的,就是要了解它,很多时候还要设法减少这些不确定性。因此,我们的先辈针对随机的世界,总结了一些所谓的法则来应对这样的不确定性。例如,大数法则(law of large numbers),另一个重要的随机法则就是中心极限定理(central limit theorem)。
在统计里做预测和估计,本质上是在做以偏概全的事。虽偏却能概全,这是统计学家的本领。
(3)要有相信概率的思维
数学家拉普拉斯(Pierre-Simon Laplace)曾说过“大部分生活中最重要的疑问, 都只是概率的问题”。在随机世界里, 概率一词大家琅琅上口, 但真正理解概率含义的人却不多。
概率的意义究竟是什么呢?在诸如投掷骰子, 或抽签时, 我们通常以“相同的可能性”来解释概率。即骰子的6个面, 每个面出现机率皆认为是6分之1。该解释在日常生活中还是比较适用的。当没有其他信息时,常假设每一可能的结果发生之机率都一样。
第二种方式,是以相对频率来解释概率。例如,如果一位职业篮球选手,过去的投篮命中率是0.527,表示该选手在接下来投篮的时候,命中率大抵就是0.527。这种常见的对概率的解释也算比较客观的。其背后之理论基础就是大数法则。针对的现象, 则是可以重复观测的。
最后一种方式是主观概率。例如,世界杯足球赛巴西队最后夺冠的概率,追上某一女孩的概率等等就是主观概率,这些事件无法重复观测,是一次性的。
上述三种对概率的解释有时会交错使用,或彼此相验证。
还有小概率事件。原先你以为不可能的事情,只要观测次数够多, 就一定会发生。有人称此为law of truly large numbers。当小机率遇上大样本,其发生就不会太令人惊讶了。在随机的世界里,要相信概率,而不是要挑战概率。
(4)要有合理估计的思维
从前有一个卖油条的小孩,他一向把卖得的钱都放在盛油条的篮子里。某日由于尿急,于是把篮子放在一块大石头上,然后去厕所了。过一会儿回来,晴天霹雳,篮子里的钱全都不见了。他哭着跑去告诉县官。县官听了后, 叫人把石头抬来审问。虽一再恫吓, 石头一句话也不说。县官气了,叫人拿棍子来打石头。只是即使打到棍子断了,石头仍不说话。一旁看热闹的人都笑了起来。县官更生气,罚围观者每人拿两个铜钱,扔进一个盛满水的盆子里。突然,县官指着一个人说“偷钱的人就是你。”那人大呼冤枉,众人也不解。县官解释说:“那小孩是卖油条的,他的钱上都沾着油。别人的钱扔进水里都没有油浮上来,只有这个人扔钱进水后,有油浮上来, 可见钱是这人偷的。”那人俯首认罪,众人皆心服。
这种县官判案式的智慧,与教室玻璃破了,老师先从平常最调皮的学生问起的原理类似:当从几个可能性里做挑选时,优先挑最可能的情况。会不会出现错误?当然也是会的。凭口袋里的钱有油,就认定他偷了卖油条小孩的钱?如果有人收到卖油条者找的钱,不也就沾着油吗?
但是,这种人们在做选择时常采用的方法却又是有效的。从统计思维的角度看,就是著名的最大概似法(method of maximum likelihood),该方法就是依据发生概率最大者来确定估计值的。这个方法有很多好的性质,而且常常能得到不错的估计量。
美国NBA 职业篮球赛,各球队互有胜负,很难说那一球队才是最强。在常规比赛里,每支球队要赛82场,各区胜率最高的8队可打季后赛。所谓胜率,就是赢的场次除以比赛场次。为了维持比赛之可看性,NBA有一套选秀机制,使各队实力不会很悬殊。有时全季排名第一者,胜率还不到6成。以一个球季多场比赛后的胜率,决定谁是今年较强者,得以参加季后赛,是职业球赛经常采的作法。再例如,估计某项手术的成功概率,估计生三胞胎的的概率等,也是常采用这种以相对频率来估计的想法。
随着统计学的发展,种估计方法百各家争鸣。这些有道理的估计方法,往往有各自的优点,并且适用于某些场合,不会有哪种方法永远是最佳的。例如,有时我们觉得给个范围能更清楚的描述,这就是著名的置信区间(Confidence interval)估计方法。
(5)要有疑罪从无的假设检验思维
人们常求公平或公正。以简单的两人分蛋糕为例,,若双方皆不愿拿得比较小,那有什么好方法来分?你切我选应该是一个令两人都不觉得吃亏的办法。最好是连由谁切,都以抽签的方式。以免选方感觉他所得大于一半,而切方感觉他所得只有一半。
而疑罪从无推定原则便类似你切我选,属于能令检察官与被告,皆感到较公正的一种判决法。
1933年,波兰人Neyman及英国人Pearson给出著名的Neyman-Pearson引理,奠定了统计学里的无罪推定原则,这就是假设检验(Hypothesis testing)。
英文中的假设hypothesis,是由古希腊文hypotithenai 演变而来, 科学上的假说(或称假设学说)也是这个字。在数学里, 我们常在证明一命题是真或伪。但在随机世界中,很多现象都只能视为假设,就看更愿意接受哪一个。接受不表示就完全相信该假设为真,拒绝也不表该假设为伪。统计里的假设,经检定后,不论接受那一个假设,都无法让该假设成为定律,假设永远是假设。
3、结束语
陈希孺先生在其《数理统计学简史》的序中说道:“统计学不止是一种方法或技术,还含有世界观的成分——它是看待世界上万事万物的一种方法。我们常讲某事从统计观点看如何如何,指的就是这个意思。但统计思想也有一个发展过程。因此统计思想(或观点)的养成,不单需要学习一些具体的知识,还有能够从发展的眼光,把这些知识连缀成一个有机的、清晰的途径,获得一种历史的厚重感。”
建立起统计思维不是一朝一夕之功,要说有什么诀窍,那就是学习、实践,再学习、再实践,持续学习、持续实践。
数据分析咨询请扫描二维码
在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17数据分析,是一项通过科学方法处理数据以获取洞察并支持决策的艺术。无论是在商业环境中提升业绩,还是在科研领域推动创新,数据 ...
2024-12-17